(57)【要約】  本発明は、視野拡張映像を考慮した適切な視線監視を行うことを目的とする。視線監視装置（１０１）は、車両の搭乗員の顔の撮影画像から、搭乗員の視線方向を検知する視線方向検知部（１６）と、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する範囲設定部（１７）と、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置を用いて警告を行う警告部（１８）と、を備える。
2020213022.tif 000002
【特許請求の範囲】
【請求項１】
対象車両の搭乗員の顔の撮影画像から、前記搭乗員の視線方向を検知する視線方向検知部と、
前記対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、前記特定表示装置を含む範囲を要視認範囲に設定する範囲設定部と、
前記視線方向が前記要視認範囲と重ならない場合に、前記対象車両に搭載された出力装置を用いて警告を行う警告部と、を備える、
視線監視装置。
【請求項２】
前記特定表示装置に前記視野拡張映像を表示させる表示制御部をさらに備え、
前記表示制御部は、前記搭乗員による前記対象車両の操作または前記対象車両の挙動を示す車両情報と、前記対象車両の周辺の障害物を示す障害物情報の少なくともいずれかに基づき、前記視野拡張映像の表示要否を判断する、
請求項１に記載の視線監視装置。
【請求項３】
前記車両情報が前記対象車両のターンシグナルの点灯を示す場合に、前記特定表示装置は前記対象車両の電子サイドミラーである、
請求項２に記載の視線監視装置。
【請求項４】
前記障害物情報が、前記対象車両の同一車線後方を走行する後続車両と前記対象車両との衝突可能性を示す場合に、前記特定表示装置は前記対象車両の電子リアビューミラーまたはＣＩＤである、
請求項２に記載の視線監視装置。
【請求項５】
前記表示制御部は、前記車両情報が前記対象車両のギアがバックギアに入っていることを示す場合に、前記対象車両の電子リアビューミラーまたはＣＩＤに前記視野拡張映像を表示させる、
請求項２に記載の視線監視装置。
【請求項６】
前記出力装置は前記表示装置を含み、
前記警告部は、前記視線方向に重なる前記表示装置または前記視線方向に最も近い前記表示装置に警告画面を表示する、
請求項１に記載の視線監視装置。
【請求項７】
対象車両の搭乗員の顔の撮影画像から、前記搭乗員の視線方向を検知し、
前記対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、前記特定表示装置を含む範囲を要視認範囲に設定し、
前記視線方向が前記要視認範囲と重ならない場合に、前記対象車両に搭載された出力装置を用いて警告を行う、
視線監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の搭乗者の視線監視に関する。
【背景技術】
【０００２】
従来、車両の搭乗者の視線を検知し、搭乗者の視線が前方の予め定められた範囲から外れた場合に、前方を視認するように警告する視線監視技術がある。【０００３】
また、従来、車両の後方または側方など運転者の死角領域をカメラで撮影し、車両内の表示装置にカメラの撮影映像を表示させる電子ミラーシステムがある（例えば、特許文献１参照）。本明細書では、こうした車両の周辺の死角領域を撮影した映像を視野拡張映像と称する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４９４６６８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
表示装置に視野拡張映像が表示されている場合には、車両の前方ではなく視野拡張映像を視認する方が望ましい場合がある。しかし、視野拡張映像を考慮しない視線監視技術では、搭乗者が視野拡張映像を視認している場合でも、搭乗者が前方を視認していないため視線方向が適切でないとして警告が行われてしまったり、反対に搭乗者が視野拡張映像を視認していない場合に、視野拡張映像を視認するよう促すような警告を行ったりすることができなかった。本発明は上記の問題に鑑み、視野拡張映像を考慮した適切な視線監視を行うことを目的とする。
【課題を解決するための手段】
【０００６】
本発明の視線監視装置は、対象車両の搭乗員の顔の撮影画像から、搭乗員の視線方向を検知する視線方向検知部と、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する範囲設定部と、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置を用いて警告を行う警告部と、を備える。
【発明の効果】
【０００７】
本発明の視線監視装置によれば、特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲が要視認範囲に設定されるため、視野拡張映像を考慮した適切な視線監視を行うことができる。本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１の視線監視装置の構成を示すブロック図である。
【図２】実施の形態１の視線監視装置の動作を示すフローチャートである。
【図３】実施の形態２の視線監視装置の構成を示すブロック図である。
【図４】実施の形態２の視線監視装置の動作を示すフローチャートである。
【図５】車両の各部分の形状情報を示す図である。
【図６】顔画像を示す図である。
【図７】顔領域を示す図である。
【図８】顔特徴点を示す図である。
【図９】顔が右向きである場合の、顔特徴点間の位置関係を示す図である。
【図１０】顔が正面向きである場合の、顔特徴点間の位置関係を示す図である。
【図１１】顔が左向きである場合の、顔特徴点間の位置関係を示す図である。
【図１２】運転者が右電子サイドミラーを視認している状態を示す図である。
【図１３】車外カメラによる対象車両の右後方の撮影映像が、右電子サイドミラーに視野拡張映像として表示される様子を示す図である。
【図１４】視線監視装置のハードウェア構成を示す図である。
【図１５】視線監視装置のハードウェア構成を示す図である。
【図１６】車両とサーバによる視線監視装置の構成例を示す図である。
【発明を実施するための形態】
【０００９】
＜Ａ．実施の形態１＞
＜Ａ−１．構成＞
図１は、実施の形態１の視線監視装置１０１の構成を示すブロック図である。視線監視装置１０１は、車両の搭乗員の視線を監視する装置である。本明細書では、各実施の形態の視線監視装置が視線監視を行う搭乗員が搭乗する車両を「対象車両」と称し、それ以外の車両を「周辺車両」または「後続車両」などと称して区別する。
【００１０】
視線監視装置１０１は、視線方向検知部１６、範囲設定部１７、および警告部１８を備えている。視線方向検知部１６は、対象車両の搭乗員の顔の撮影画像から搭乗員の視線方向を検知する。対象車両には少なくとも１つの表示装置が搭載されており、そのうち特定表示装置には視野拡張映像が表示される。本明細書では、対象車両に搭載された表示装置のうち視野拡張映像が表示されるものを特定表示装置と称する。視野拡張映像とは、搭乗員にとって死角となる車両の前方、側方または後方などの車両の周辺の映像のことである。
【００１１】
範囲設定部１７は、特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する。警告部１８は、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置２２を用いて警告を行う。出力装置２２は、表示装置であっても良いし、スピーカであっても良いし、その両方であっても良い。
【００１２】
＜Ａ−２．動作＞
図２は、視線監視装置１０１の動作を示すフローチャートである。以下、図２のフローに沿って視線監視装置１０１の動作を示すフローチャートである。まず、視線方向検知部１６は、対象車両の搭乗員の顔の撮影画像から、搭乗員の視線方向を検知する（ステップＳ１０１）。次に、範囲設定部１７は、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する（ステップＳ１０２）。次に、警告部１８は、視線方向が要視認範囲と重なるか否かを判断し（ステップＳ１０３）、重ならない場合に、対象車両に搭載された出力装置２２を用いて警告を行う（ステップＳ１０４）。ステップＳ１０３において、視線方向が要視認範囲と重なれば、警告部１８は警告を行わない。
【００１３】
＜Ａ−３．効果＞
実施の形態１の視線監視装置１０１は、対象車両の搭乗員の顔の撮影画像から、搭乗員の視線方向を検知する視線方向検知部１６と、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する範囲設定部１７と、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置を用いて警告を行う警告部１８と、を備える。視線監視装置１０１によれば、視野拡張映像が表示された特定表示装置を視認するよう搭乗員に促すことができる。
【００１４】
＜Ｂ．実施の形態２＞
＜Ｂ−１．構成＞
図３は、実施の形態２の視線監視装置１０２の構成を示すブロック図である。視線監視装置１０２は、対象車両の搭乗員の視線を監視する装置である。以下では、運転者を搭乗者の例として説明する。
【００１５】
視線監視装置１０２は、車内映像取得部１１、形状取得部１２、車両情報取得部１３、障害物情報取得部１４、表示制御部１５、視線方向検知部１６、範囲設定部１７、および警告部１８を備えている。視線監視装置１０２は、車外カメラ２１および出力装置２２と接続され、これらを利用可能に構成されている。
【００１６】
車内映像取得部１１は、例えば対象車両に設置されたカメラ（以下、「車内カメラ」と称する）とＬＥＤにより構成される。車内カメラとＬＥＤは、例えば運転者の前方のウィンドシールドに設置されている。ＬＥＤは、運転者の顔に光を照射し、車内カメラは運転者の顔を撮影する。以下、車内カメラの撮影映像を車内映像と称する。
【００１７】
形状取得部１２は、対象車両の各部分の形状情報を取得する。ここで、対象車両の各部分とは、範囲設定部１７が要視認範囲に設定する可能性のある部分のことであり、例えば、ウィンドシールド、左サイドミラー、右サイドミラー、リアビューミラー、ＣＩＤ（Ｃｅｎｔｅｒ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｓｐｌａｙ）、左ウィンドウ、および右ウィンドウなどが含まれる。
【００１８】
車両情報取得部１３は車両情報を取得する。車両情報は、対象車両の状態を表す情報であり、例えば車速、舵角、ターンシグナルの点灯状況、またはシフトギアの状態などを表す。車両情報取得部１３は、例えばＣＡＮ（Ｃｏｎｔｏｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を用いて車両情報を取得することが可能である。ＣＡＮとは、自動車での使用を前提に開発されたシリアル通信プロトコルである。
【００１９】
障害物情報取得部１４は、対象車両に設置された車外カメラ２１の撮影映像を解析して、障害物の位置または速度などの情報である障害物情報を取得する。車外カメラ２１は、サイドミラーの下部など車室の外に設置され、対象車両の前方、側方、または後方などの映像を視野拡張映像として撮影する。但し、障害物情報取得部１４は、障害物情報を直接外部から取得しても良い。
【００２０】
表示制御部１５は、車両情報取得部１３から車両情報を、障害物情報取得部１４から障害物情報をそれぞれ取得する。そして、表示制御部１５は、車両情報に基づき対象車両のこれからの挙動を予測し、予測した対象車両の挙動と障害物情報とに基づき、対象車両と衝突可能性のある障害物を検知する。対象車両と衝突可能性のある障害物があれば、表示制御部１５は、対象車両に対する障害物の位置に応じて、障害物を映した視野拡張映像を表示する特定表示装置を決定する。対象車両に複数の表示装置２２１が搭載されている場合、表示制御部１５は、複数の表示装置２２１の中から障害物を映した視野拡張映像に適した特定表示装置を選択する。例えば、障害物が対象車両の右後方を走行する後続車両である場合、表示制御部１５は、右側の電子サイドミラーを特定表示装置に選択し、右側の電子サイドミラーに障害物を映した視野拡張映像を表示させる。
【００２１】
視線方向検知部１６は、車内映像取得部１１から車内映像を取得し、車内映像に基づき運転者の視線方向を検知する。視線方向の検知方法の詳細については後述する。
【００２２】
範囲設定部１７は、形状取得部１２から形状情報を、表示制御部１５から視野拡張映像と視野拡張映像を表示する特定表示装置の情報とを取得し、これらに基づき、運転者が視認すべき範囲である要視認範囲を設定する。
【００２３】
警告部１８は、視線方向検知部１６から運転者の視線方向を、範囲設定部１７から要視認範囲をそれぞれ取得し、運転者の視線方向が要視認範囲に重なるか否かを判断する。そして、運転者の視線方向が要視認範囲に重ならなければ、すなわち運転者が要視認範囲を視認していなければ、要視認範囲を視認するように促す警告を出力装置２２を用いて行う。
【００２４】
出力装置２２は、対象車両に搭載されている。図３において、出力装置２２は表示装置２２１とスピーカ２２２を備えているが、これらの少なくともいずれかを備えていれば良い。つまり、警告部１８による要視認範囲を視認するように促す警告は、警告画面の表示により行われても良いし、警告音声の出力により行われても良いし、その両方により行われても良い。
【００２５】
＜Ｂ−２．動作＞
図４は、視線監視装置１０２の動作を示すフローチャートである。図４のフローは、例えば対象車両のアクセサリ電源がオンになったタイミングでスタートする。
【００２６】
まず、視線監視装置１０２は、車内映像取得部１１、形状取得部１２、車両情報取得部１３、および障害物情報取得部１４において各種の情報を取得する（ステップＳ２０１）。具体的には、車内映像取得部１１が車内映像を取得し、形状取得部１２が対象車両の各部分の形状情報を取得し、車両情報取得部１３が車両情報を取得し、障害物情報取得部１４が障害物情報を取得する。
【００２７】
形状情報は、ワールド座標系に配置された対象車両の各部分の位置を、例えば車内カメラを基準とした位置に変換した情報である。形状取得部１２は、対象車両に搭載された各表示デバイスの位置関係をＣＡＤ情報から抽出し、形状情報としても良い。
【００２８】
図５は、対象車両の各部分の形状情報を図形で表現した図である。図５では、車内映像取得部１１を構成する車内カメラ１１１とＬＥＤ１１２の中心位置を原点としてＸ，Ｙ，Ｚ軸が規定されている。そして、左サイドミラー、右サイドミラー、左ウィンドウ、右ウィンドウ、ウィンドシールド、リアビューミラー、およびＣＩＤのＸ，Ｙ，Ｚ座標が形状情報である。
【００２９】
次に、視線方向検知部１６は、ステップＳ１０２で車内映像取得部１１が取得した車内映像から運転者の視線方向を検知する（ステップＳ２０２）。
【００３０】
以下、視線方向検知部１６による視線方向の検知方法について説明する。図６は、運転者の顔を撮影した車内映像を示している。視線方向検知部１６は、車内映像から図７に示すように顔領域Ｒ１を検出する。さらに、視線方向検知部１６は、車内映像から図８に示すように顔領域Ｒ１の中で複数の顔特徴点Ｐを検出する。顔特徴点とは、目、鼻、口などの顔パーツのことである。目に関する顔特徴点として、両目尻、両目頭、上瞼、または下瞼などがある。鼻に関する顔特徴点として、鼻根、鼻背、鼻翼、または鼻尖などがある。口に関する顔特徴点として、上唇、または下唇などがある。視線方向検知部１６は、顔特徴点Ｐの座標位置を検出する。
【００３１】
次に、視線方向検知部１６は、複数の顔特徴点Ｐの位置関係から顔の方向を求める。例えば、図９に示すように、鼻頭と右目尻の横方向の座標が一致していれば、運転者は右方向を向いていることが分かる。また、図１０に示すように、鼻頭の横方向の位置が両目頭の間にあれば、運転者は正面方向を向いていることが分かる。また、図１１に示すように、鼻頭と左目尻の横方向の座標が一致していれば、運転者は左方向を向いていることが分かる。視線方向検知部１６は、顔特徴点Ｐの位置関係から求めた顔の方向を、視線方向と推定しても良い。
【００３２】
あるいは、視線方向検知部１６は以下の方法で視線方向を検知しても良い。視線方向検知部１６は、顔領域Ｒ１のサイズと、複数の顔特徴点Ｐ間の距離に基づき、車内カメラに対する顔の相対位置を求める。さらに、視線方向検知部１６は、車内カメラと顔の位置関係、車内カメラとＬＥＤの位置関係、および目に反射したＬＥＤ光源の像であるプルキニエ像に基づき、角膜反射法を用いて、車内カメラと顔を結ぶ線に対する視線方向の角度、すなわち視線角度を求めることができる。こうして、視線方向検知部１６は視線方向を検知することができる。
【００３３】
以上の処理が図２のステップＳ２０２で行われる。次に、表示制御部１５は、車両情報取得部１３が取得した車両情報と、障害物情報取得部１４が取得した障害物情報とに基づき、視野拡張映像を表示するか否かを判断する（ステップＳ２０３）。例えば、車両情報が右ターンシグナルの点灯中を示す場合、表示制御部１５は、対象車両が右車線へ車線変更するか、または右折すると予測する。そして、障害物情報が車両の右後方に後続車両がいることを示す場合、表示制御部１５は、対象車両が右車線へ車線変更または右折した場合に、後続車両と衝突する可能性があるか否かを判断する。対象車両が後続車両と衝突する可能性がある場合、表示制御部１５は、後続車両を映した車両の右後方の車外映像を視野拡張映像として表示すると判断する。
【００３４】
表示制御部１５は、ステップＳ２０３において視野拡張映像の表示を判断した場合、視野拡張映像を表示する表示装置２２１、すなわち特定表示装置を選択し（ステップＳ２０４）、特定表示装置に視野拡張映像を表示させる。本例では、表示制御部１５は、右側の電子サイドミラーに車両の右後方の車外映像を表示させる。対象車両に電子サイドミラーが搭載されていない場合、電子リアビューミラーまたはＣＩＤに車両の右後方の車外映像が表示されても良い。
【００３５】
上記では、対象車両の進路変更時に、右後方の後続車両が映った視野拡張映像を表示することについて説明したが、視野拡張映像の表示はこの例に限らない。例えば、表示制御部１５は、対象車両のシフトギアがバックギアに入ったことを車両情報から把握すると、車両の後方を撮影した車外映像を、電子リアビューミラーまたはＣＩＤに表示しても良い。すなわち、この場合、特定表示装置は対象車両の電子リアビューミラーまたはＣＩＤである。また、表示制御部１５は、運転者からフロントビューカメラの映像の表示を指示する操作が行われたことを車両情報から把握すると、車両の前方を撮影した車外映像を、ＣＩＤに表示しても良い。すなわち、この場合、特定表示装置は対象車両のＣＩＤである。これらの例において、表示制御部１５は、表示情報にのみ基づき視野拡張映像の表示制御を行っているため、障害物情報取得部１４は必須の構成ではない。また、表示制御部１５は、障害物情報が、対象車両の同一車線後方を走行する後続車両と対象車両との衝突可能性を示す場合に、車両の後方を撮影した車外映像を、電子リアビューミラーまたはＣＩＤに表示しても良い。すなわち、この場合、特定表示装置は対象車両の電子リアビューミラーまたはＣＩＤである。
【００３６】
ステップＳ２０４において特定表示装置が選択されると、範囲設定部１７は、特定表示装置を含む要視認範囲を設定する（ステップＳ２０５）。要視認範囲とは運転者が視認するべき範囲である。範囲設定部１７は、表示制御部１５から、視野拡張映像と視野拡張映像が表示される特定表示装置の情報を取得し、これらに基づき要視認範囲を設定する。例えば、対象車両が右折しようとしており、右電子サイドミラーに対象車両の右後方の車外映像が表示される場合には、範囲設定部１７は、右電子サイドミラーを含む範囲を要視認範囲に設定する。範囲設定部１７は、右電子サイドミラーを含む範囲に加えて、ウィンドシールドの少なくとも一部、例えば運転者側の領域を要視認範囲に定めても良いし、リアビューミラーを要視認範囲に定めても良い。このように、要視認範囲は一つでなくても良い。
【００３７】
また、対象車両のギアがバックギアに入り、ＣＩＤに対象車両の後方の車外映像が表示されている場合には、範囲設定部１７は、ＣＩＤを含む範囲と両サイドミラーを含む範囲を要視認範囲に設定する。この例で対象車両の車速が０の場合に、範囲設定部１７はウィンドシールドの少なくとも一部、例えば運転者側の領域を要視認範囲に含めても良い。このように、範囲設定部１７は、表示制御部１５からの情報に加えて、車両情報に基づき要視認範囲を設定しても良い。
【００３８】
以上で、視野拡張映像が表示される場合の要視認範囲の設定（ステップＳ２０５）について説明した。視野拡張映像が表示されない場合（ステップＳ２０３でＮｏ）、対象車両は障害物と衝突する可能性がなく、通常の走行をしている。この場合、運転者は前方を見ることが望ましいため、範囲設定部１７は、ウィンドシールドを要視認範囲に設定する（ステップＳ２０６）。このとき、表示装置２２１は要視認範囲に含まれない。
【００３９】
ステップＳ２０５またはステップＳ２０６の後、警告部１８は、視線方向検知部１６から運転者の視線方向を、範囲設定部１７から要視認範囲をそれぞれ取得し、視線方向が要視認範囲に重なるか否かを判断する（ステップＳ２０７）。要視認範囲が、ＣＩＤを含む範囲とウィンドシールドの運転者側の領域、などのように複数設定されている場合、警告部１８は視線方向が複数の要視認範囲の一つに重なるか否かを判断する。図１２は、運転者３１が右電子サイドミラー３２を視認している状態を示している。警告部１８は、視線方向として、運転者３１の右眼の視線角度θＲと左眼の視線角度θＬを視線方向検知部１６から取得する。視線角度θＲは右眼の正面方向ＢＲに対する角度であり、視線角度θＬは左眼の正面方向ＢＬに対する角度である。警告部１８は、視線角度θＬ，θＲと頭の位置に基づき、運転者３１の両眼の視線方向が交差する位置に要視認範囲が重なるか否かを判断する。ここで、警告部１８は両眼の視線方向を用いて判断を行っているが、どちらか一方の眼の視線方向を用いて判断を行っても良い。
【００４０】
ステップＳ２０７において視線方向が要視認範囲に重なれば、視線監視装置１０２の動作はステップＳ２０１に戻る。一方、ステップＳ２０７において視線方向が要視認範囲に重ならなければ、警告部１８は出力装置２２を用いて警告を行い、運転者に要視認範囲を見るように促す（ステップＳ２０８）。
【００４１】
図１３は、車外カメラ２１による対象車両の右後方の撮影映像が、右電子サイドミラー３２に視野拡張映像として表示される様子を示している。警告部１８は、後続車両３４を囲む枠３５を視野拡張映像に重畳表示することによって、対象車両と衝突可能性のある後続車両３４の存在を運転者に伝え、警告を行う。この例では、右電子サイドミラー３２に表示された視野拡張映像が、警告部１８による警告画面でもある。但し、視野拡張映像を視認していない運転者は、当然、枠３５に気づかないため、警告部１８は、右電子サイドミラー３２とは別の表示装置２２１に別途の警告画面を表示したり、音声による警告を併せて行ったりすることが望ましい。
【００４２】
警告部１８が、視野拡張映像を表示する表示装置２２１とは別の表示装置２２１に警告画面を表示する場合、警告画面を表示する別の表示装置２２１は、運転者の視認方向に基づき定められることが望ましい。例えば、警告部１８は、視線方向の情報と車両の各部分の形状情報とに基づき、運転者が視認している車両の部分を特定し、当該部分である表示装置２２１または当該部分に最も近い表示装置２２１に警告画面を表示する。この警告画面には、例えば「右後方に後続車両がいます。右電子サイドミラーを確認して下さい」等、視野拡張映像が表示された表示装置を運転者に通知して視野拡張映像の視認を促すメッセージが表示される。これにより、警告画面が運転者の視界に入りやすく、警告効果を高めることができる。
【００４３】
＜Ｂ−３．効果＞
実施の形態２の視線監視装置１０２は、実施の形態１の視線監視装置１０１の構成に加えて、特定表示装置に視野拡張映像を表示させる表示制御部１５を備える。表示制御部１５は、搭乗員による対象車両の操作または対象車両の挙動を示す車両情報と、対象車両の周辺の障害物を示す障害物情報の少なくともいずれかに基づき、視野拡張映像の表示要否を判断する。従って、視線監視装置１０２によれば、対象車両の状況または障害物の状況に応じて必要な時に視野拡張映像を表示すると共に、視野拡張映像に応じた視線監視が可能となる。
【００４４】
＜Ｃ．ハードウェア構成＞
上記した視線監視装置１０１，１０２における、車内映像取得部１１、形状取得部１２、車両情報取得部１３、障害物情報取得部１４、表示制御部１５、視線方向検知部１６、範囲設定部１７、および警告部１８は、図１４に示す処理回路８１により実現される。すなわち、処理回路８１は、車内映像取得部１１、形状取得部１２、車両情報取得部１３、障害物情報取得部１４、表示制御部１５、視線方向検知部１６、範囲設定部１７、および警告部１８（以下、「警告部１８等」と称する）を備える。処理回路８１には、専用のハードウェアが適用されても良いし、メモリに格納されるプログラムを実行するプロセッサが適用されても良い。プロセッサは、例えば中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等である。
【００４５】
処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものが該当する。警告部１８等の各部の機能それぞれは、複数の処理回路８１で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
【００４６】
処理回路８１がプロセッサである場合、警告部１８等の機能は、ソフトウェア等（ソフトウェア、ファームウェアまたはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１５に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、視線監視装置１０１，１０２は、処理回路８１により実行されるときに、対象車両の搭乗員の顔の撮影画像から搭乗員の視線方向を検知することと、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定することと、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置２２を用いて警告を行うことと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、警告部１８等の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
【００４７】
以上、警告部１８等の各機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、警告部１８等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば警告部１８については専用のハードウェアとしての処理回路でその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
【００４８】
以上のように、処理回路は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上記の各機能を実現することができる。
【００４９】
また、上記では視線監視装置１０１，１０２を車載装置として説明したが、車載装置、ＰＮＤ（Portable Navigation Device）、通信端末（例えば携帯電話、スマートフォン、およびタブレットなどの携帯端末）、およびこれらにインストールされるアプリケーションの機能、並びにサーバなどが適宜に組み合わせられたシステムにも適用することができる。この場合、以上で説明した視線監視装置１０１，１０２の各機能または各構成要素は、システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。図１６は、車両７０とサーバ７１による視線監視装置１０２の構成例を示している。図１６の例において、車内映像取得部１１、形状取得部１２、車両情報取得部１３、障害物情報取得部１４、表示制御部１５、および警告部１８が車両７０に配置され、視線方向検知部１６と範囲設定部１７がサーバ７１に配置されている。
【００５０】
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。この発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【符号の説明】
【００５１】
１１  車内映像取得部、１２  形状取得部、１３  車両情報取得部、１４  障害物情報取得部、１５  表示制御部、１６  視線方向検知部、１７  範囲設定部、１８  警告部、２１  車外カメラ、２２  出力装置、３１  運転者、３２  右電子サイドミラー、３４  後続車両、３５  枠、７０車両、７１  サーバ、８１  処理回路、８２  プロセッサ、８３  メモリ、１０１，１０２  視線監視装置、１１１  車内カメラ、１１２  ＬＥＤ、２２１  表示装置、２２２  スピーカ。
【図１】
2020213022.tif 000003
【図２】
2020213022.tif 000004
【図３】
2020213022.tif 000005
【図４】
2020213022.tif 000006
【図５】
2020213022.tif 000007
【図６】
2020213022.tif 000008
【図７】
2020213022.tif 000009
【図８】
2020213022.tif 000010
【図９】
2020213022.tif 000011
【図１０】
2020213022.tif 000012
【図１１】
2020213022.tif 000013
【図１２】
2020213022.tif 000014
【図１３】
2020213022.tif 000015
【図１４】
2020213022.tif 000016
【図１５】
2020213022.tif 000017
【図１６】
2020213022.tif 000018
【手続補正書】
【提出日】令和3年5月19日(2021.5.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象車両の搭乗員の顔の撮影画像から、前記搭乗員の視線方向を検知する視線方向検知部と、
前記対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、前記特定表示装置を含む範囲を要視認範囲に設定する範囲設定部と、
前記視線方向が前記要視認範囲と重ならない場合に、前記対象車両に搭載された出力装置を用いて警告を行う警告部と、を備え、
前記出力装置は前記表示装置を含み、
前記警告部は、前記視線方向に重なる前記表示装置または前記視線方向に最も近い前記表示装置に警告画面を表示する、
視線監視装置。
【請求項２】
前記特定表示装置に前記視野拡張映像を表示させる表示制御部をさらに備え、
前記表示制御部は、前記搭乗員による前記対象車両の操作または前記対象車両の挙動を示す車両情報と、前記対象車両の周辺の障害物を示す障害物情報の少なくともいずれかに基づき、前記視野拡張映像の表示要否を判断する、
請求項１に記載の視線監視装置。
【請求項３】
前記車両情報が前記対象車両のターンシグナルの点灯を示す場合に、前記特定表示装置は前記対象車両の電子サイドミラーである、
請求項２に記載の視線監視装置。
【請求項４】
前記障害物情報が、前記対象車両の同一車線後方を走行する後続車両と前記対象車両との衝突可能性を示す場合に、前記特定表示装置は前記対象車両の電子リアビューミラーまたはＣＩＤである、
請求項２に記載の視線監視装置。
【請求項５】
前記表示制御部は、前記車両情報が前記対象車両のギアがバックギアに入っていることを示す場合に、前記対象車両の電子リアビューミラーまたはＣＩＤに前記視野拡張映像を表示させる、
請求項２に記載の視線監視装置。
【請求項６】
対象車両の搭乗員の顔の撮影画像から、前記搭乗員の視線方向を検知し、
前記対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、前記特定表示装置を含む範囲を要視認範囲に設定し、
前記視線方向が前記要視認範囲と重ならない場合に、前記対象車両に搭載された出力装置を用いて警告を行い、
前記出力装置は前記表示装置を含み、
前記視線方向に重なる前記表示装置または前記視線方向に最も近い前記表示装置に警告画面を表示する、
視線監視方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の視線監視装置は、対象車両の搭乗員の顔の撮影画像から、搭乗員の視線方向を検知する視線方向検知部と、対象車両に搭載された少なくとも１つの表示装置のうち特定表示装置に視野拡張映像が表示される場合に、特定表示装置を含む範囲を要視認範囲に設定する範囲設定部と、視線方向が要視認範囲と重ならない場合に、対象車両に搭載された出力装置を用いて警告を行う警告部と、を備え、出力装置は表示装置を含み、警告部は、視線方向に重なる表示装置または視線方向に最も近い表示装置に警告画面を表示する。
【国際調査報告】
2020213022.tif 000019
2020213022.tif 000020
2020213022.tif 000021
2020213022.tif 000022