(57)【要約】【課題】搭乗者が注視している注視点を検出し、利便性を向上させる。【解決手段】注視点検出装置３０は、車両３の第１の位置Ｐ１、及び第１の位置Ｐ１とは異なる、車両３の第２の位置Ｐ２において、車両３の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、第１の位置Ｐ１及び第１の位置Ｐ１における車両３の進行方向を含む第１の車両情報と、第２の位置Ｐ２及び第２の位置Ｐ２における車両３の進行方向を含む第２の車両情報を取得する情報取得部と、第１の画像及び第１の車両情報に基づいて搭乗者の第１の視線方向Ｄ１を特定し、第２の画像及び第２の車両情報に基づいて搭乗者の第２の視線方向Ｄ２を特定し、第１の位置Ｐ１、第１の視線方向Ｄ１、第２の位置Ｐ２、及び第２の視線方向Ｄ２に基づいて注視点を検出するプロセッサと、を備える。【選択図】図２
2018004325.tif 000002
【特許請求の範囲】
【請求項１】
車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得する情報取得部と、
前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
を備える注視点検出装置。
【請求項２】
前記プロセッサは、前記視線方向を三次元座標系で特定し、前記第１の位置を起点として、前記第１の視線方向に伸びる第１の半直線と、前記第２の位置を起点として前記第２の視線方向に伸びる第２の半直線とに基づいて注視点を検出する、請求項１に記載の注視点検出装置。
【請求項３】
前記プロセッサは、前記第１の半直線上の前記第２の半直線に最も近い点と前記第２の半直線上の前記第１の半直線に最も近い点との間の中点、又は前記第１と第２の半直線の交点を注視点として検出する、請求項２に記載の注視点検出装置。
【請求項４】
前記プロセッサは、前記視線方向を二次元座標系で検出し、前記第１の位置を起点として、前記第１の視線方向に伸びる第１の半直線と、前記第２の位置を起点として前記第２の視線方向に伸びる第２の半直線との交点を注視点として検出する、請求項１に記載の注視点検出装置。
【請求項５】
前記プロセッサは、前記注視点を地図上の位置として検出する、請求項１から４の何れか一項に記載の注視点検出装置。
【請求項６】
前記情報取得部は、前記車両の速度に基づいて決定された時間間隔で、順次画像を取得し、順次、取得された前記画像における連続して取得された２つの画像の一方を前記第１の画像とし、他方を第２の画像とする、請求項１から５の何れか一項に記載の注視点検出装置。
【請求項７】
注視点検出装置が実行する注視点検出方法であって、
前記注視点検出装置が、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得するステップと、
前記注視点検出装置が、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するステップと、
を含む注視点検出方法。
【請求項８】
車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、
前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、
前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、
を備える注視点検出システム。
【請求項９】
車両の第１の位置、及び前記第１の位置とは異なる、車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、
前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得する情報取得部と、
前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、
前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、
を含む注視点検出システムを備える車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注視点検出装置、注視点検出方法、注視点検出システム、及び車両に関する。
【背景技術】
【０００２】
従来、車両を運転している運転者の顔を撮像した画像を用いて、運転者の視線方向を検出する視線方向検出装置が提案されている（例えば、特許文献１）。この視線方向検出装置は、運転者の視線方向と車両の進行方向とに基づいて、運転者のわき見運転を防ぐよう警告を発することにより安全性の向上を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−７９３０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術の方法では、運転者のわき見運転を防ぐよう警告を発するために、車両の運転者の視線方向が車両の進行方向と一致しているかを判定している。したがって、搭乗者が、視線方向にある位置のうちいずれの位置を注視しているかを検出することはできない。
【０００５】
したがって、これらの点に着目してなされた本発明の目的は、搭乗者が注視している注視点を検出し、利便性を向上させる注視点検出装置、注視点検出方法、注視点検出システム、及び車両を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成する注視点検出装置は、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像、及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像、及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、を備える。
【０００７】
上記目的を達成する注視点検出方法は、前記注視点検出装置が、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を取得し、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報とを取得するステップと、前記注視点検出装置が、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するステップと、を含む。
【０００８】
上記目的を達成する注視点検出システムは、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、を備える。
【０００９】
上記目的を達成する車両は、車両の第１の位置、及び前記第１の位置とは異なる、前記車両の第２の位置において、前記車両の搭乗者の目を含む顔をそれぞれ撮像した第１の画像及び第２の画像を撮像するカメラと、前記第１の位置及び前記第１の位置における前記車両の進行方向を含む第１の車両情報と、前記第２の位置及び前記第２の位置における前記車両の進行方向を含む第２の車両情報を取得する情報取得部と、前記第１の画像及び前記第１の車両情報に基づいて前記搭乗者の第１の視線方向を特定し、前記第２の画像及び前記第２の車両情報に基づいて前記搭乗者の第２の視線方向を特定し、前記第１の位置、前記第１の視線方向、前記第２の位置、及び前記第２の視線方向に基づいて注視点を検出するプロセッサと、前記プロセッサによって検出された注視点に係る情報を表示する表示装置と、を含む注視点検出システムを備える。
【発明の効果】
【００１０】
本発明の一実施形態によれば、搭乗者が注視している注視点を検出し、利便性を向上させることを可能とする。
【図面の簡単な説明】
【００１１】
【図１】車両に搭載された注視点検出システムの概略構成を示す図である。
【図２】図１に示す注視点検出システムの機能ブロック図である。
【図３】三次元の世界座標系における車両の位置及び視線方向の例を示す図である。
【図４】注視点検出システムの処理の手順を示すシーケンス図である。
【図５】第１の実施形態における注視点の検出の処理の詳細な手順を示すフローチャートである。
【図６】第２の実施形態における注視点の検出の処理の詳細な手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
【００１３】
図１に示すように、第１の実施形態に係る注視点検出システム１は、車両３に搭載されたカメラ１０、ＧＰＳ（Global Positioning System）受信機（位置検出部）２０、注視点検出装置３０、及び表示装置４０等を含んで構成される。カメラ１０及びＧＰＳ受信機２０は、通信ネットワークを介して注視点検出装置３０と接続されて情報を送受信する。また、注視点検出装置３０は、通信ネットワークを介して表示装置４０と接続されて情報を送受信する。
【００１４】
カメラ１０は、車両３に搭乗している搭乗者の顔を所定のタイミングで連続して撮像する。所定のタイミングは、例えば一定時間おきである。所定のタイミングは、例えば、車両３から速度信号を取得し、車両の速度に基づいて決定された時間間隔としうる。車両の速度が速いときは、時間間隔を短くし、車両の速度が遅いときは時間間隔を長くしてよい。速度信号は、注視点検出装置３０を経由して受信しうる。そのため、カメラ１０は、後部座席の略上半分の領域を撮像するように、例えば車両３のサイドウィンドウの枠の上部に設置される。カメラ１０が設置される位置はこれに限られず、例えば、フロントウィンドウの枠の上部、車両３の天井であってもよい。
【００１５】
図２に示すように、カメラ１０は、光学系１１、撮像素子１２、信号処理部１３、及び通信インタフェース１４等を含んで構成される。
【００１６】
光学系１１は、該光学系１１に入射した光が撮像素子１２で結像するように集光するレンズである。光学系１１は、例えば、魚眼レンズ、超広角レンズで構成されてもよい。光学系１１は、単レンズで構成されてもよいし、複数枚のレンズで構成されてもよい。
【００１７】
撮像素子１２は、光学系１１によって結像された画像を撮像する固体撮像素子である。固体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor Image Sensor）を含む。
【００１８】
信号処理部１３は、画像信号を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。
【００１９】
信号処理部１３は、該撮像素子１２で結像された画像を表す画像信号を生成する。また、信号処理部１３は、画像に対して、歪み補正、明度調整、コントラスト調整、ガンマ補正等の任意の処理を行ってもよい。
【００２０】
通信インタフェース１４は、信号処理部１３によって生成された画像信号を注視点検出装置３０に出力する。
【００２１】
ＧＰＳ受信機２０は、ＧＰＳ衛星が発信した電波を受信して、該ＧＰＳ受信機２０の、世界座標系における三次元での位置及び進行方向を特定する。世界座標系とは、地球上の地点を一意に識別するための座標で表される系である。しかし、ＧＰＳ受信機２０が特定する位置は、世界座標系で表されるものに限らず、本注視点検出システムが用いられる系において各位置を一意に識別することのできる任意の座標系を用いて表すことができるものであればよい。本実施形態では、ＧＰＳ受信機２０の位置及び進行方向を、該ＧＰＳ受信機２０を搭載した車両３の位置及び進行方向とする。また、ＧＰＳ受信機２０は、特定した車両３の位置及び進行方向を含む車両情報を生成して、注視点検出装置３０に出力する。
【００２２】
本実施形態では、抽出点検出システム１は、ＧＰＳ受信機２０の代わりに任意の位置検出部を備えてもよい。位置検出部は、例えば、ＧＰＳ衛星によって受信したＧＰＳ信号によって特定した車両３の位置を、例えばナビゲーションシステムなどの車両３の有する地図情報を用いて、マップマッチングにより補正してもよい。また、代替的に又は付加的に、携帯電話と携帯電話基地局との距離から位置を測定する方式や、路側に配置したサインポストから位置を取得する方法を採用し得る。所定位置における位置情報に加え、地図の道路データ及び車両３からの車速信号を組み合わせることによって、走行中の位置の検出精度を高めることができる。
【００２３】
注視点検出装置３０は、通信インタフェース３１、カメラ情報メモリ３２、制御部３３（プロセッサ）、視線情報メモリ３４等を含んで構成される。
【００２４】
通信インタフェース３１は、カメラ１０及びＧＰＳ受信機２０から情報を取得する情報取得部として機能する。具体的には、通信インタフェース３１は、カメラ１０によって出力された画像信号の入力を受けることによって画像を取得する。このとき、通信インタフェース３１は、カメラ１０が撮像する時間間隔で順次画像を取得する。画像を取得する時間間隔は、一定間隔でもよく、車両３の速度に基づいて決定された時間間隔でもよい。また、通信インタフェース３１は、ＧＰＳ受信機２０によって特定された、世界座標系における車両３の位置及び進行方向を含む車両情報を取得する。また、通信インタフェース３１は、制御部３３によって検出された情報を表示装置４０に出力する。
【００２５】
カメラ情報メモリ３２は、カメラ１０の設置方向を記憶する。カメラ１０の設置方向とは、車両３についての所定の方向、例えば車両３が前方に直進する場合の進行方向を基準とした、カメラ１０の光軸の角度である。
【００２６】
制御部３３は、画像信号を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。
【００２７】
制御部３３は、通信インタフェース３１によって取得した画像、車両情報に基づいて、車両３の搭乗者の、世界座標系における三次元での視線方向を表す視線情報を取得する視線情報取得処理を行う。ここで、制御部３３が行う視線情報取得処理の方法について詳細に説明する。ここで説明する方法は一例であって、制御部３３は、この方法に限られることなく任意の方法で視線情報取得処理を行うことができる。
【００２８】
制御部３３は、画像における人物の目を含む顔が表されている顔領域を抽出する。そして、制御部３３は、画像から抽出された顔領域に基づいて、搭乗者の顔が向いている方向（以降、「顔方向」という）を特定する。具体的には、制御部３３は、カメラ１０の光軸方向を基準とした顔方向を特定する。ここで、制御部３３は画像から、１つの顔領域を抽出してもよいし、複数の顔領域を抽出してもよい。複数の顔領域が抽出された場合、制御部３３は、それぞれの顔領域について以降の処理を行う。
【００２９】
また、制御部３３は、顔領域から目、及び目に含まれる瞳孔の位置を抽出する。そして、制御部３３は、顔領域から抽出された目及び瞳孔の位置に基づいて、顔方向を基準とした視線方向を特定する。また、制御部３３は、上述のように特定された、カメラ１０の光軸方向を基準とした顔方向と、顔方向を基準とした視線方向とに基づいて、カメラ１０の光軸方向を基準とした視線方向を特定する。
【００３０】
また、制御部３３は、カメラ情報メモリ３２に記憶されているカメラ１０の設置方向と、カメラ１０の光軸方向を基準とした視線方向とに基づいて、車両３の進行方向に対する視線方向を特定する。
【００３１】
そして、制御部３３は、車両情報に含まれる進行方向と、車両３の進行方向に対する視線方向とに基づいて、世界座標系における視線方向を特定する。
【００３２】
制御部３３は、上述のようにして、車両３が異なる複数の位置にいるときにカメラ１０によって撮像された複数の画像、及び複数の位置それぞれで取得された車両情報に基づいて、上述のような視線方向取得処理で視線方向を特定することによって、複数の視線方向それぞれを表す複数の視線情報を取得する。すなわち、制御部３３は、インタフェース３１によって順次、取得された画像のうち連続して取得された２つの画像の、一方を第１の画像とし、他方を第２の画像とする。そして、制御部３３は、第１の画像と、第１の画像が撮像されたときに車両３がいた第１の位置Ｐ１で取得された第１の車両情報とに基づいて、第１の視線方向Ｄ１を表す第１の視線情報を取得する。また、制御部３３は、第２の画像と、第２の画像が撮像されたときに車両３がいた第２の位置Ｐ２で取得された第２の車両情報とに基づいて、第２の視線方向Ｄ２を表す第２の視線情報を取得する。
【００３３】
さらに、制御部３３は、第１の位置Ｐ１、第１の視線情報、第２の位置Ｐ２、及び第２の視線情報に基づいて、搭乗者の注視点を検出する注視点検出処理を行う。また、制御部３３は、注視点検出処理によって検出された注視点を表す注視点情報を出力する。ここで、注視点検出処理の詳細について、図３を参照して説明する。
【００３４】
この説明では、注視点検出処理が実行される以前に、第１の位置Ｐ１（ｘｐ１，ｙｐ１，ｚｐ１）を含む車両情報が取得されたときに、制御部３３によって、第１の視線方向Ｄ１（ｘｄ１，ｙｄ１，ｚｄ１）を表す視線情報が取得されていたとする。また、第１の位置Ｐ１とは異なる第２の位置Ｐ２（ｘｐ２，ｙｐ２，ｚｐ２）を含む車両情報が取得されたときに、制御部３３によって、第２の視線方向Ｄ２（ｘｄ２，ｙｄ２，ｚｄ２）を表す視線情報が取得されていたとする。
【００３５】
この場合、制御部３３は、世界座標系において、第１の位置Ｐ１を起点とし、第１の視線方向Ｄ１に伸びる第１の半直線Ｌ１を算出する。同様にして、制御部３３は、第２の位置Ｐ２を起点とし、第２の視線方向Ｄ２に伸びる第２の半直線Ｌ２を算出する。そして、制御部３３は、第１の半直線Ｌ１と第２の半直線Ｌ２との直線間距離ｄを算出する。さらに、制御部３３は、直線間距離ｄが所定の閾値ｄｔｈ以下であるか否かを判定する。
【００３６】
直線間距離ｄが所定の閾値ｄｔｈ以下である場合、制御部３３は、第１の半直線Ｌ１上の第２の半直線Ｌ２に最も近い点と第２の半直線Ｌ２上の第１の半直線Ｌ１に最も近い点との間の中点ＰＭ、又は第１の半直線Ｌ１と第２の半直線Ｌ２との交点を注視点として決定する。直線間距離ｄが所定の閾値ｄｔｈより長い場合、制御部３３は、搭乗者が、車両３が第１の位置Ｐ１にいるときと、第２の位置Ｐ２にいるときとで異なる対象を見ていたと判定し、注視点を決定しない。
【００３７】
所定の閾値ｄｔｈは、搭乗者が、車両３が第１の位置Ｐ１にいるときに見ていた対象と、第２の位置Ｐ２にいるときに見ていた対象が僅かに異なっていても、同一の対象をみているとみなせる範囲である。所定の閾値ｄｔｈは、例えば、車両３の速度等に基づいて設定されればよい。
【００３８】
視線情報メモリ３４は、制御部３３によって取得された複数の視線情報に含まれる視線方向それぞれを、各視線方向に係る位置で、取得された車両情報に含まれる車両３の位置に関連付けて記憶する。
【００３９】
表示装置４０は、通信インタフェース４１、表示制御部４２、ディスプレイ４３（４３は「表示素子」「表示パネル」などにしてはどうか。）等を含んで構成される。
【００４０】
通信インタフェース４１は、注視点検出装置３０の制御部３３から通信インタフェース３１を介して出力された注視点情報の入力を受ける。
【００４１】
表示制御部４２は、ディスプレイ４３への情報の表示を制御するプロセッサである。表示制御部４２は、注視点検出装置３０から出力され、通信インタフェース４１によって入力を受けた注視点情報に基づいて、メモリにあらかじめ記憶されている地図及び建物情報から、注視点の位置を表す地図、注視点がある建物の情報等の注視点関連情報を抽出する。また、表示制御部４２は、抽出した注視点関連情報をディスプレイ４３に表示させるよう制御する。
【００４２】
ディスプレイ４３は、車両３の内部における任意の位置に設置される。具体的には、運転者が視認できるようにダッシュボードに設置されてもよいし、運転者以外の搭乗者が視認できるように運転席又は助手席の裏面に設置されてもよい。ディスプレイ４３は、好ましくは液晶ディスプレイである。ディスプレイ４３は、液晶ディスプレイに限らず、有機ＥＬ（electroluminescence）ディスプレイ、無機ＥＬディスプレイ等であってもよい。
【００４３】
ディスプレイ４３は、表示制御部４２による制御に基づいて注視点関連情報を表示する。
【００４４】
次に、第１の実施形態における注視点検出システム１の注視点検出方法について、図４を参照して説明する。
【００４５】
カメラ１０が撮像を開始して（ステップＳ１１）、車両３が第１の位置Ｐ１及び第２の位置Ｐ２にいるときにそれぞれの位置で撮像した第１の画像及び第２の画像を注視点検出装置３０に出力する（ステップＳ１２、Ｓ１８）。
【００４６】
一方、ＧＰＳ受信機２０がＧＰＳ情報を受信して、車両３の位置及び進行方向の特定を開始する（ステップＳ１３）。ステップＳ１３で位置及び進行方向の特定が開始されると、注視点検出装置３０の通信インタフェース３１を介して制御部３３は、車両３が第１の位置Ｐ１及び第２の位置Ｐ２にいるときにそれぞれ特定された位置及び進行方向を含む第１の車両情報及び第２の車両情報を取得する（ステップＳ１４、Ｓ１９）
【００４７】
ステップＳ１２で注視点検出装置３０に第１の画像が入力されると、制御部３３は、第１の画像に基づいてカメラ１０の光軸方向を基準とした搭乗者の視線方向を特定する（ステップＳ１５）。
【００４８】
ステップＳ１５で、カメラ１０の光軸方向を基準とした搭乗者の視線方向が検出されると、制御部３３は、カメラ１０の光軸方向を基準とした視線方向と、カメラ１０の設置方向とに基づいて、車両３の進行方向を基準とした視線方向を特定する（ステップＳ１６）。
【００４９】
ステップＳ１６で、車両３の進行方向を基準とした視線方向が検出されると、制御部３３は、視線方向、及び第１の車両情報に含まれる進行方向に基づいて、世界座標系での搭乗者の視線方向を特定し、該視線方向を含む第１の視線情報を取得する（ステップＳ１７）。
【００５０】
同様にして、ステップＳ１８で注視点検出装置３０に第２の画像が入力されると、制御部３３は、第２の画像に基づいてカメラ１０の光軸方向を基準とした搭乗者の視線方向を特定する（ステップＳ２０）。
【００５１】
ステップＳ２０で、カメラ１０の光軸方向を基準とした搭乗者の視線方向が検出されると、制御部３３は、カメラ１０の光軸方向を基準とした視線方向と、カメラ１０の設置方向とに基づいて、車両３の進行方向を基準とした視線方向を特定する（ステップＳ２１）。
【００５２】
ステップＳ２１で、車両３の進行方向を基準とした視線方向が検出されると、制御部３３は、視線方向、及び第２の画像が撮像されたときに取得された第２の車両情報に含まれる進行方向に基づいて、世界座標系での搭乗者の視線方向を特定し、該視線方向を含む第２の視線情報を取得する（ステップＳ２２）。
【００５３】
ステップＳ１７第１の視線情報が取得され、ステップＳ２２で第２の視線情報が検出されると、制御部３３は注視点を検出する（ステップＳ２３）。
【００５４】
ここで、制御部３３が注視点を検出する処理の詳細について図５を参照して説明する。
【００５５】
まず、制御部３３は、第１の位置Ｐ１、第１の視線方向Ｄ１に基づいて第１の半直線Ｌ１を算出する（ステップＳ２３１）。次に、制御部３３は、第２の位置Ｐ２、第２の視線方向Ｄ２に基づいて第２の半直線Ｌ２を算出する（ステップＳ２３２）。制御部３３は、ステップＳ２３２の処理をステップＳ２３１の処理より先に行ってもよいし、制御部３３がマルチプロセッサである場合、ステップＳ２３２の処理とステップＳ２３１の処理とを同時に行ってもよい。
【００５６】
ステップＳ２３１及びＳ２３２で第１の半直線Ｌ１及び第２の半直線Ｌ２が算出されると、制御部３３は第１の半直線Ｌ１及び第２の半直線Ｌ２の直線間距離ｄを算出して、直線間距離ｄが所定の閾値ｄｔｈ以下であるか否かを判定する（ステップＳ２３３）。
【００５７】
ステップＳ２３３で直線間距離ｄが所定の閾値ｄｔｈ以下であると判定されると、制御部３３は、第１の半直線Ｌ１上の第２の半直線Ｌ２に最も近い点と第２の半直線Ｌ２上の第１の半直線Ｌ１に最も近い点との間の中点ＰＭを注視点として検出する（ステップＳ２３４）。
【００５８】
ステップＳ２３３で直線間距離ｄが所定の閾値ｄｔｈより長いと判定されると、制御部３３は、注視点を検出せずに処理を終了する。
【００５９】
図４に戻って、ステップＳ２３で注視点検出処理が終了すると、通信インタフェース３１は、制御部３３によって検出された注視点を表す注視点情報を表示装置４０に出力する（ステップＳ２４）。
【００６０】
ステップＳ２４で、注視点情報が出力されると、表示装置４０は注視点情報の入力を受け、注視点情報に係る注視点関連情報を表示する（ステップＳ２５）。
【００６１】
第１の実施形態においては、注視点検出装置３０は、複数の画像、及び複数の画像がそれぞれ撮像されたときの車両３の位置及び進行方向に基づいて、車両３に対する搭乗者の視線方向を特定し、複数の位置、進行方向、及び視線方向に基づいて注視点を検出する。そのため、注視点に存在する建物、施設等に関する情報を表示装置４０に表示させることができ、搭乗者の利便性を向上させることができる。
【００６２】
また、第１の実施形態においては、制御部３３が車両３の第１の位置Ｐ１を起点とし搭乗者の視線方向に伸びる第１の半直線Ｌ１と、車両３の第２の位置Ｐ２を起点とし搭乗者の視線方向に伸びる第２の半直線Ｌ２との直線間距離に基づいて注視点を検出する。具体的には、制御部３３は、直線間距離ｄが所定の閾値ｄｔｈより長い場合には注視点を検出しない。これにより、車両３が第１の位置Ｐ１から第２の位置Ｐ２に移動したときに搭乗者の注視点が変化した場合に、注視点を誤検出するのを防ぐことができる。すなわち、高い精度で注視点を検出することが可能となる。
【００６３】
＜第２の実施形態＞
続いて、第２の実施形態について、図面を参照して説明する。
【００６４】
第２の実施形態に係る注視点検出システム１は、図１に示す、第１の実施形態に係る注視点検出システム１と同様に、車両３に搭載されたカメラ１０、ＧＰＳ受信機２０、注視点検出装置３０、及び表示装置４０等を含んで構成される。
【００６５】
第２の実施形態における制御部３３は、第１の実施形態における制御部３３と異なり、カメラ１０によって生成された画像に基づいて、車両３の搭乗者の、第１の位置における世界座標系での二次元の視線方向である第１の視線方向Ｄ１（ｘｄ１，ｙｄ１）を検出して、第１の視線方向Ｄ１を含む視線情報を取得する。同様にして、制御部３３は、車両３の搭乗者の、第２の位置における世界座標系での二次元の視線方向である第２の視線方向Ｄ２（ｘｄ２，ｙｄ２）を検出して、第２の視線方向Ｄ２を含む視線情報を取得する。
【００６６】
また、第２の実施形態における制御部３３は、第１の視線情報、第１の位置Ｐ１（ｘｐ１，ｙｐ１）、第２の視線情報、及び第２の位置Ｐ２（ｘｐ２，ｙｐ２）に基づいて注視点検出処理を行う。
【００６７】
具体的には、制御部３３は、世界座標系において、第１の位置Ｐ１を起点とし、第１の視線情報に含まれる第１の視線方向Ｄ１に伸びる第１の半直線Ｌ１を二次元で算出する。同様にして、制御部３３は、第２の位置Ｐ２を起点とし、第２の視線情報に含まれる第２の視線方向Ｄ２に伸びる第２の半直線Ｌ２を算出する。そして、制御部３３は、第１の半直線Ｌ１と第２の半直線Ｌ２との交点が位置する座標を二次元で算出する。本実施形態での二次元は、水平面に沿う方向を意味し、鉛直方向については考えない。
【００６８】
制御部３３は、第１の半直線Ｌ１と第２の半直線Ｌ２とが交差しなかった場合、車両３が第１の位置Ｐ１にいるときと、第２の位置Ｐ２にいるときとで、搭乗者は異なる対象を見ていたと判定し、注視点を決定しない。
【００６９】
この場合、ＧＰＳ受信機２０は、ＧＰＳ受信機２０は、車両３の、世界座標系における二次元での位置及び進行方向を表す車両情報を生成してもよい。
【００７０】
第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一又は対応する構成要素には、同一参照符号を付して説明を省略する。
【００７１】
次に、第２の実施形態における注視点検出システム２の注視点検出方法について説明する。
【００７２】
注視点検出システム２の検出方法は、第１の実施形態における注視点検出システム１の注視点検出方法と概ね同様であるが、図４のステップＳ２３に示す注視点の検出の詳細が異なる。ここで、第２の実施形態における注視点検出システム２における注視点の検出の詳細について図６を参照して説明する。
【００７３】
まず、制御部３３は、第１の位置Ｐ１及び第１の視線方向Ｄ１に基づいて第１の半直線Ｌ１を算出する（ステップＳ２３５）。次に、制御部３３は、第２の位置Ｐ２及び第２の視線方向Ｄ２に基づいて第２の半直線Ｌ２を算出する（ステップＳ２３６）。制御部３３は、ステップＳ２３６の処理をステップＳ２３５の処理より先に行ってもよいし、制御部３３がマルチプロセッサである場合、ステップＳ２３５の処理とステップＳ２３６の処理とを同時に行ってもよい。
【００７４】
ステップＳ２３５及びＳ２３６で第１の半直線Ｌ１及び第２の半直線Ｌ２が算出されると、制御部３３は第１の半直線Ｌ１及び第２の半直線Ｌ２との交点があるか否かを判定する（ステップＳ２３７）。
【００７５】
ステップＳ２３７で交点があると判定されると、制御部３３は、第１の半直線Ｌ１と第２の半直線Ｌ２との交点を注視点として検出する（ステップＳ２３８）。
【００７６】
ステップＳ２３７で交点がないと判定されると、制御部３３は、注視点を検出せずに処理を終了する。
【００７７】
以上説明したように、第２の実施形態によれば、搭乗者の注視点を検出することができる。これにより、注視点に存在する建物、施設等に関する情報を表示装置４０に表示させることができ、搭乗者の利便性を向上させることができ、第１の実施形態と同様の効果が得られる。
【００７８】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態及び実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態及び実施例に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００７９】
例えば、上述の実施形態において、注視点検出装置３０の制御部３３が視線情報取得処理及び注視点検出処理を行うとしたが、これに限られず、カメラ１０の備えるプロセッサが、視線情報取得処理及び注視点検出処理を行ってもよい。また、カメラ１０及び注視点検出装置３０が一体として構成されてもよい。
【００８０】
また、上述の実施形態において、表示制御部４２が注視点情報に基づいて注視点関連情報を抽出するとしたが、これに限られない。例えば、注視点検出装置３０が注視点関連情報をメモリに記憶し、制御部３３が注視点検出処理で検出した注視点に基づいて注視点関連情報を抽出してもよい。この場合、注視点検出装置３０の通信インタフェース３１が表示装置４０に注視点関連情報を送信する。
【００８１】
また、上述の実施形態において、通信インタフェース３１が、ＧＰＳ受信機２０から第１の位置Ｐ１及び第２の位置Ｐ２を取得するとしたが、この限りではない。例えば、車両３があらかじめ決められた走行路上を移動している場合、又は車両３が移動できる走行路が１つしかない場合、通信インタフェース３１が、ＧＰＳ受信機２０から第１の位置Ｐ１を表す車両情報を取得し、制御部３３が第１の視線情報が取得されてから第２の視線情報が取得されるまでの時間、及び車両３の移動速度を用いて、第２の位置Ｐ２を算出してもよい。
【符号の説明】
【００８２】
１，２            注視点検出システム
３                車両
１０              カメラ
１１              光学系
１２              撮像素子
１３              信号処理部
１４，３１，４１  通信インタフェース
２０              ＧＰＳ受信機
３０              注視点検出装置
３２              カメラ情報メモリ
３３              制御部
３４              視線情報メモリ
４０              表示装置
４２              表示制御部
４３              ディスプレイ
【図１】
2018004325.tif 000003
【図２】
2018004325.tif 000004
【図３】
2018004325.tif 000005
【図４】
2018004325.tif 000006
【図５】
2018004325.tif 000007
【図６】
2018004325.tif 000008