(57)【要約】【課題】安全性を向上させる。【解決手段】実施形態にかかる安全確認装置は、車両の座席に設けられた検出部から、当該車両に搭乗している運転者の重心位置を示した重心位置情報を、時間の経過に従って複数取得する重心取得部と、車両が走行している周辺が表された情報に基づいて、車両の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する位置判定部と、位置判定部により車両の位置が、交差点近傍であると判定された場合に、複数の重心位置情報で示される、時間の経過に基づいた運転者の重心位置の変化が、所定の閾値より小さいか否かを判定する状態判定部と、運転者の重心位置の変化が、所定の閾値より小さいと判定された場合に、警報情報を出力する出力部と、を備える。【選択図】図４
2018206037.tif 000002
【特許請求の範囲】
【請求項１】
車両の座席に設けられた検出部から、当該車両に搭乗している運転者の重心位置を示した重心位置情報を、時間の経過に従って複数取得する重心取得部と、
前記車両が走行している周辺が表された情報に基づいて、前記車両の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する位置判定部と、
前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された場合に、複数の前記重心位置情報で示される、時間の経過に基づいた前記運転者の重心位置の変化が、所定の閾値より小さいか否かを判定する状態判定部と、
前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、警報情報を出力する出力部と、
を備える安全確認装置。
【請求項２】
前記車両が走行している周辺が表された情報として、前記車両が走行可能な経路と、経路に含まれている交差点について見通しが良いか否かを識別する情報と、を含んだ地図情報を記憶する記憶部と、
前記車両の位置を示した位置情報を取得する位置取得部と、をさらに備え、
前記位置判定部は、前記地図情報及び前記位置情報に基づいて、前記位置情報で示される前記車両の位置が、前記地図情報に含まれている経路のうち、見通しが良くないと識別されている交差点近傍であるか否かを判定する、
請求項１に記載の安全確認装置。
【請求項３】
撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得部を、さらに備え、
前記状態判定部は、前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出された場合に、前記運転者の顔による安全確認を示す行動があったか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかった場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、
前記出力部は、さらに、安全確認を示す行動がなかったと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する、
請求項１又は２に記載の安全確認装置。
【請求項４】
撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得部を、さらに備え、
前記状態判定部は、前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出されたか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかったと判定された場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、
前記出力部は、さらに、前記運転者の顔が検出されたと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する、
請求項１又は２に記載の安全確認装置。
【請求項５】
前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記車両の移動制御を行う移動制御部を、さらに備える、
請求項１乃至４のいずれか一つに記載の安全確認装置。
【請求項６】
車両の座席に設けられた検出部から、当該車両に搭乗している運転者の重心位置を示した重心位置情報を、時間の経過に従って複数取得する重心取得ステップと、
前記車両が走行している周辺が表された情報に基づいて、前記車両の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する位置判定ステップと、
前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された場合に、複数の前記重心位置情報で示される、時間の経過に基づいた前記運転者の重心位置の変化が、所定の閾値より小さいか否かを判定する状態判定ステップと、
前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、警報情報を出力する出力ステップと、
を有する安全確認方法。
【請求項７】
前記車両の現在の位置を示した位置情報を取得する位置取得ステップと、をさらに有し、
前記位置判定ステップは、記憶部に記憶された、前記車両が走行している周辺が表された情報として、前記車両が走行可能な経路と、経路に含まれている交差点について見通しが良いか否かを識別する情報と、を含んだ地図情報及び前記位置情報に基づいて、前記位置情報で示される前記車両の位置が、前記地図情報に含まれている経路のうち、見通しが良くないと識別されている交差点近傍であるか否かを判定する、
請求項６に記載の安全確認方法。
【請求項８】
撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得ステップを、さらに有し、
前記状態判定ステップは、前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出された場合に、前記運転者の顔による安全確認を示す行動があったか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかった場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、
前記出力ステップは、さらに、安全確認を示す行動がなかったと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する、
請求項６又は７に記載の安全確認方法。
【請求項９】
撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得ステップを、さらに有し、
前記状態判定ステップは、前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出されたか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかったと判定された場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、
前記出力ステップは、さらに、前記運転者の顔が検出されたと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する、
請求項６又は７に記載の安全確認方法。
【請求項１０】
前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記車両の移動制御を行う移動制御ステップを、さらに有する、
請求項６乃至９のいずれか一つに記載の安全確認方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、安全確認装置、及び安全確認方法に関する。
【背景技術】
【０００２】
従来から、自動車等の車両において、安全確認が必要な位置に近づいてきた場合に、運転者に対して、安全確認するように通知を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９１０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、安全確認が必要な位置に近づいてきた場合に、運転者に対して安全確認を促すことはできるが、運転者が安全確認（例えば、顔を左右に振る動作）を行ったか否かの判定を行うものではない。これに対して、近年、見通しが良くない交差点において、運転者が安全確認を行ったか否かを判定し、判定結果に応じた処理を行いたいという要望がある。見通しが良くない交差点において、安全確認を行う際に、運転者が身を乗り出すことが多い。この場合、運転者が安全確認を行うか否かを検出するために設けられた撮像装置による撮像範囲から、運転者が外れる状況も存在する。
【課題を解決するための手段】
【０００５】
実施形態にかかる安全確認装置は、車両の座席に設けられた検出部から、当該車両に搭乗している運転者の重心位置を示した重心位置情報を、時間の経過に従って複数取得する重心取得部と、前記車両が走行している周辺が表された情報に基づいて、前記車両の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する位置判定部と、前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された場合に、複数の前記重心位置情報で示される、時間の経過に基づいた前記運転者の重心位置の変化が、所定の閾値より小さいか否かを判定する状態判定部と、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、警報情報を出力する出力部と、を備える。上記構成により、例えば、運転者が身を乗り出して安全確認を行ったか否かを推定した上で、警報情報を出力しているので、安全性を向上させることができる。
【０００６】
実施形態にかかる安全確認装置は、前記車両が走行している周辺が表された情報として、前記車両が走行可能な経路と、経路に含まれている交差点について見通しが良いか否かを識別する情報と、を含んだ地図情報を記憶する記憶部と、前記車両の現在の位置を示した位置情報を取得する位置取得部と、をさらに備え、前記位置判定部は、前記地図情報及び前記位置情報に基づいて、前記位置情報で示される前記車両の位置が、前記地図情報に含まれている経路のうち、見通しが良くないと識別されている交差点近傍であるか否かを判定する。上記構成により、例えば、見通しの良くないと識別されている交差点近傍に近づいた際に、運転者が身を乗り出して安全確認を行ったか否かを推定できるので、安全性を向上させることができる。
【０００７】
実施形態にかかる安全確認装置は、撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得部を、さらに備え、前記状態判定部は、前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出された場合に、前記運転者の顔による安全確認を示す行動を行ったか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかった場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、前記出力部は、さらに、安全確認を示す行動がなかったと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する。上記構成により、例えば、撮像画像データに運転者の顔が写っていない場合には、運転者の重心位置の変化で、安全確認を行ったか否かを判定できるので、安全性を向上させることができる。
【０００８】
実施形態にかかる安全確認装置は、撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得部を、さらに備え、前記状態判定部は、前記位置判定部により前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出されたか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかったと判定された場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、前記出力部は、さらに、前記運転者の顔が検出されたと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する。上記構成により、例えば、撮像画像データに運転者の顔が写っているか否かと、運転者の重心位置の変化が所定の閾値より小さいか否かと、により安全確認を行ったか否かを判定できるので、安全性を向上させることができる。
【０００９】
実施形態にかかる安全確認装置は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記車両の移動制御を行う移動制御部を、さらに備える。上記構成により、例えば、運転者が身を乗り出して安全確認を行ったか否かを推定した上で、移動制御を行うことで、安全性を向上させることができる。
【００１０】
実施形態にかかる安全確認方法は、車両の座席に設けられた検出部から、当該車両に搭乗している運転者の重心位置を示した重心位置情報を、時間の経過に従って複数取得する重心取得ステップと、前記車両が走行している周辺が表された情報に基づいて、前記車両の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する位置判定ステップと、前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された場合に、複数の前記重心位置情報で示される、時間の経過に基づいた前記運転者の重心位置の変化が、所定の閾値より小さいか否かを判定する状態判定ステップと、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、警報情報を出力する出力ステップと、を有する。上記処理手順により、例えば、運転者が身を乗り出して安全確認を行ったか否かを推定した上で、警報情報を出力しているので、安全性を向上させることができる。
【００１１】
実施形態にかかる安全確認方法は、前記車両の現在の位置を示した位置情報を取得する位置取得ステップと、をさらに有し、前記位置判定ステップは、記憶部に記憶された、前記車両が走行している周辺が表された情報として、前記車両が走行可能な経路と、経路に含まれている交差点について見通しが良いか否かを識別する情報と、を含んだ地図情報及び前記位置情報に基づいて、前記位置情報で示される前記車両の位置が、前記地図情報に含まれている経路のうち、見通しが良くないと識別されている交差点近傍であるか否かを判定する。上記処理手順により、見通しの良くないと識別されている交差点近傍に近づいた際に、運転者が身を乗り出して安全確認を行ったか否かを推定できるので、安全性を向上させることができる。
【００１２】
実施形態にかかる安全確認方法は、撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得ステップを、さらに有し、前記状態判定ステップは、前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出された場合に、前記運転者の顔による安全確認を示す行動があったか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかった場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、前記出力ステップは、さらに、安全確認を示す行動がなかったと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する。上記処理手順により、例えば、撮像画像データに運転者の顔が写っていない場合には、運転者の重心位置の変化で、安全確認を行ったか否かを判定できるので、安全性を向上させることができる。
【００１３】
実施形態にかかる安全確認方法は、撮像装置から、前記座席を含む範囲を撮像した撮像画像データを取得する画像取得ステップを、さらに有し、前記状態判定ステップは、前記位置判定ステップにより前記車両の位置が、前記交差点近傍であると判定された際に、前記撮像画像データにおいて前記運転者の顔が検出されたか否かを判定し、前記撮像画像データにおいて前記運転者の顔が検出されなかったと判定された場合に、前記運転者の重心位置の変化が、前記所定の閾値より小さいか否かを判定し、前記出力ステップは、さらに、前記運転者の顔が検出されたと判定された場合、又は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記警報情報を出力する。上記構成により、例えば、撮像画像データに運転者の顔が写っているか否かと、運転者の重心位置の変化が前記所定の閾値より小さいか否かと、により安全確認を行ったか否かを判定できるので、安全性を向上させることができる。
【００１４】
実施形態の安全確認方法は、前記運転者の重心位置の変化が、前記所定の閾値より小さいと判定された場合に、前記車両の移動制御を行う移動制御ステップを、さらに有する。上記処理手順により、例えば、運転者が身を乗り出して安全確認を行ったか否かを推定した上で、移動制御を行うことで、安全性を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、第１の実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。
【図２】図２は、第１の実施形態にかかる撮像装置及び着座センサの配置の一例を示す図である。
【図３】図３は、第１の実施形態にかかる車両が有する安全確認システムの構成の一例を示すブロック図である。
【図４】図４は、第１の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。
【図５】図５は、第１の実施形態にかかるＥＣＵにおける安全確認処理の手順を示すフローチャートである。
【図６】図６は、第１の実施形態の変形例にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。
【図７】図７は、第２の実施形態にかかるＥＣＵにおける安全確認処理の手順を示すフローチャートである。
【図８】図８は、第３の実施形態にかかる車両が有するＥＣＵの機能的構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、添付の図面を用いて、本実施形態の安全確認装置、及び安全確認方法を車両に搭載した例をあげて説明する。
【００１７】
（第１の実施形態）
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１８】
図１に示されるように、車両１の車体５は、運転者（図示されず）が乗車する車室５ａを有する。車室５ａ内には、乗員としての運転者の座席２に臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。
【００１９】
また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）設けられている。
【００２０】
また、車室５ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置８（図３参照）や音声出力装置９（図３参照）が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）や、ＯＥＬＤ（Organic  Electroluminescent  Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０（図３参照）で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
【００２１】
また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Charge  Coupled  Device）カメラ等である。撮像装置２０１は、座席２を基準とした所定の範囲を撮像する。その際、撮像装置２０１は、座席２に運転者３０２が着座している場合に、当該運転者３０２の顔が、視野中心に位置すると共に、所定の範囲に含まれるように、視野角および姿勢が調整されている。そして、撮像装置２０１は、撮像した撮像画像データを順次出力する。
【００２２】
図２に示されるように、座席２のシートクッション２ｂには、着座センサ２０３が設けられている。着座センサ２０３は、４個の荷重センサが設けられており、４個の荷重センサから出力される出力信号と、シートクッション２ｂの中心を原点Ｏとするｘｙ座標系における荷重センサの位置座標と、に基づいて、ｘｙ座標系における運転者３０２の重心の位置座標を順次算出する。これにより、着座センサ２０３は、座席２に運転者３０２が着座しているか否かに加えて、着座している運転者の姿勢や重心位置を検出する。そして、着座センサ２０３は、座席２に運転者３０２が着座しているか否かと、重心の位置座標と、を定期的にＥＣＵ１４に出力する。
【００２３】
次に、図３を用いて、本実施形態にかかる車両１が有する安全確認システムについて説明する。図３は、本実施形態にかかる車両１が有する安全確認システムの構成の一例を示すブロック図である。図３に例示されるように、安全確認システム１００では、ＥＣＵ（Engine  Control  Unit）１４、モニタ装置１１、着座センサ２０３の他、操舵システム１３、ブレーキシステム１８、ＧＰＳ３１等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御する。また、ＥＣＵ１４は、車内ネットワーク２３を介して、ＧＰＳ３１の位置情報、着座センサ２０３などの各種センサの検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、安全確認装置の一例とする。
【００２４】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central  Processing  Unit）、ＲＯＭ１４ｂ（Read  Only  Memory）、ＲＡＭ１４ｃ（Random  Access  Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid  State  Drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像装置２０１で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００２５】
図４は、本実施形態にかかる車両１が有するＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、画像取得部４０１と、照合部４０２と、位置取得部４０３と、位置判定部４０４と、重心取得部４０５と、状態判定部４０６と、出力部４０７と、を主に備えている。図４に示される、画像取得部４０１、照合部４０２、位置取得部４０３、位置判定部４０４、重心取得部４０５、状態判定部４０６、及び出力部４０７は、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。ＳＳＤ１４ｆは、三次元顔モデル記憶部４１１と、地図記憶部４１２と、を備えている。
【００２６】
三次元顔モデル記憶部４１１は、統計的顔形状モデルである三次元顔モデルを記憶している。三次元顔モデルは、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、被験者の目の形状の変化情報などを含む統計的顔形状モデルとする。三次元顔モデルは、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ  Ｌｏｃａｌ  Ｍｏｄｅｌ），ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ），ＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。
【００２７】
地図記憶部４１２は、車両１が走行可能か経路を示した地図情報を記憶する。本実施形態の地図情報は、さらに、走行可能な経路の交差点毎に、見通しが良いか否かを示した情報を含んでいる。
【００２８】
画像取得部４０１は、撮像装置２０１から、座席２を含む範囲を撮像した撮像画像データを取得する。本実施形態の画像取得部４０１は、車両１が起動してから、継続的に撮像画像データを取得する。
【００２９】
照合部４０２は、画像取得部４０１が取得した撮像画像データと、三次元顔モデル記憶部４１１に記憶されている三次元顔モデルと、に基づいて、運転者３０２の顔を検出する。運転者３０２の顔が検出された場合に、照合部４０２は、運転者３０２の顔をトラッキングしながら、運転者３０２の顔の向き、目の位置、目が向いている方向（視線方向）、目の動作などを検出する。つまり、照合部４０２は、撮像画像データから、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出し、運転者３０２の二次元の撮像画像を、三次元顔モデルを構成する三次元顔構造データに適合させる。すなわち、照合部４０２は、モデルフィッティングとモデルのトラッキングを行う。これにより、照合部４０２は、運転者３０２の顔の向きを特定（推定）し、さらに、三次元顔モデル上での目の位置の検索を行い特定（推定）する。さらには、照合部４０２は、特定（推定）された運転者３０２の顔の向きと運転者の目の位置を検出する。
【００３０】
本実施形態の位置取得部４０３は、ＧＰＳ３１から、車両１の現在の位置を示した位置情報を取得する。
【００３１】
位置判定部４０４は、位置取得部４０３が取得した位置情報と、地図記憶部４１２に記憶された地図情報と、に基づいて、位置情報で示される車両１の現在の位置が、地図情報に含まれている経路のうち、見通しが良くないと識別されている交差点近傍であるか否かを判定する。
【００３２】
重心取得部４０５は、着座センサ２０３から、車両１に搭乗している運転者の重心の位置座標を示した重心位置情報を、時間の経過に伴って複数取得する。本実施形態においては、重心位置情報を、所定時間毎に取得する例について説明する。所定時間は、実施態様に応じて定められる時間間隔であって、運転者の重心位置の変化が識別できる時間間隔であればよい。
【００３３】
本実施形態の状態判定部４０６は、位置判定部４０４により車両１の位置が、交差点近傍であると判定された場合に、運転者の現在の状態の判定を行うが、照合部４０２が撮像画像データから運転者の顔を検出したか否かに応じて、判定処理を異ならせる。
【００３４】
撮像画像データにおいて運転者の顔が検出された場合、状態判定部４０６は、運転者の顔による安全確認を示す行動があったか否かを判定する。安全確認を行う行動としては、照合部４０２により特定（推定）された運転者の顔の向きと運転者の目の位置から、交差点を確認するための、左右交互に首を振ることが考えられるが、他の行動でもよい。
【００３５】
一方、状態判定部４０６は、撮像画像データにおいて運転者の顔が検出されなかった場合に、重心取得部４０５により取得された複数の重心位置情報に基づいた重心の位置座標の変化が、所定の閾値より小さいか否かを判定する。本実施形態は、重心の位置座標の変化のうち、車両１の進行方向について変化したか否かについて判定する。所定の閾値は、運転者が身を乗り出して確認しているか否かを基準とした定められた値であって、実施態様に応じて定められる。なお、本実施形態においては、重心の位置座標の変化を検出する際に、進行方向について検出を行う例について説明するが、車両１の左右方向等を含めても良い。
【００３６】
出力部４０７は、運転者の顔が検出された場合、状態判定部４０６により、運転者の顔による安全確認を示す行動がないと判定した場合に、警報情報を出力し、安全確認を示す行動があったと判定した場合に、警報情報を出力しない。本実施形態における警報情報は、音声で出力される例とするが、音声に制限するものではなく、座席２の振動として出力しても良い。
【００３７】
また、出力部４０７は、運転者の顔が検出されなかった場合、状態判定部４０６により、運転者の重心の位置座標の変化が、所定の閾値より小さいと判定された場合に、警報情報を出力する。また、出力部４０７は、状態判定部４０６により、運転者の重心の位置座標の変化が、所定の閾値以上と判定された場合に、警報情報を出力しない。
【００３８】
つまり、本実施形態においては、交差点などの安全確認が必要な地点に進入する前に、撮像画像データから、運転者の顔が検出されているのであれば、状態判定部４０６は、検出された運転者の顔による安全確認を示す行動があったか否かを判定する。そして、運転者が安全確認を示す行動がなかった場合に、警報情報を出力することで、運転者に対して安全確認を促すことができる。
【００３９】
しかしながら、見通しの良くない交差点に進入する場合に、運転者が当該交差点を確認するために身を乗り出して確認を行うことがある。このような場合、撮像装置２０１による撮像範囲から、運転者が外れる可能性がある。このため、従来の手法を用いると、運転者が安全確認を示す行動として身を乗り出したために、撮像画像データから、運転者の顔が検出されなくなり、警報情報が出力される可能性があった。
【００４０】
これに対して、本実施形態においては、撮像画像データから、運転者の顔が検出されなくなった場合、重心の位置座標の変化により、運転者が身を乗り出して確認を行っていると推定される場合には、警報情報を出力しないよう制御を行うこととした。
【００４１】
次に、本実施形態にかかるＥＣＵ１４における安全確認処理について説明する。図５は、本実施形態のＥＣＵ１４における上述した処理の手順を示すフローチャートである。
【００４２】
まず、重心取得部４０５が、着座センサ２０３から、重心位置情報を取得する（Ｓ５０１）。
【００４３】
次に、画像取得部４０１が、撮像装置２０１から、撮像画像データを取得する（Ｓ５０２）。
【００４４】
位置取得部４０３は、ＧＰＳ３１から、車両１の現在の位置情報を取得する（Ｓ５０３）。
【００４５】
位置判定部４０４は、位置取得部４０３が取得した位置情報と、地図記憶部４１２に記憶された地図情報と、に基づいて、位置情報で示される車両１の現在の位置が、交差点近傍まで近づいているか否かを判定する（Ｓ５０４）。交差点近傍まで近づいている基準は、実施態様に応じて設定されるが、一例としては、交差点近傍と判定してから交差点に進入するまでに、運転者の安全確認行動を行ったか否かを判定できる位置に基づいて定められる。車両１の現在の位置が、交差点近傍まで近づいていないと判定された場合（Ｓ５０４：Ｎｏ）、再びＳ５０１から処理を行う。
【００４６】
一方、位置判定部４０４は、車両１の現在の位置が、交差点近傍まで近づいていると判定した場合（Ｓ５０４：Ｙｅｓ）、地図記憶部４１２に記憶された地図情報に基づいて、車両１が近づいている交差点が、見通しが良くないと識別されている交差点であるか否かを判定する（Ｓ５０５）。車両１が近づいている交差点が、見通しが良いと識別されている交差点と判定された場合（Ｓ５０５：Ｎｏ）、照合部４０２が、撮像画像データから、運転者の顔を検出できたか否かを判定する（Ｓ５１２）。運転者の顔を検出できたと判定された場合（Ｓ５１２：Ｙｅｓ）、Ｓ５０７に進む。一方、運転者の顔を検出できなかったと判定された場合（Ｓ５１２：Ｎｏ）、運転者の安全確認行動を確認できない状況にあるとみなして、出力部４０７が、警報情報を出力し（Ｓ５０９）、処理を終了する。
【００４７】
Ｓ５０５において、位置判定部４０４により、車両１が近づいている交差点が、見通しが良くないと識別されている交差点と判定された場合（Ｓ５０５：Ｙｅｓ）、照合部４０２が、撮像画像データから、運転者の顔を検出できたか否かを判定する（Ｓ５０６）。
【００４８】
そして、照合部４０２が、撮像画像データから、運転者の顔を検出できたと判定した場合（Ｓ５０６：Ｙｅｓ）、運転者の顔の向き及び目の位置を検出する（Ｓ５０７）。
【００４９】
状態判定部４０６は、検出された顔の向き及び目の位置から、運転者が安全確認行動を行ったか否かを判定する（Ｓ５０８）。安全確認行動を行ったと判定された場合（Ｓ５０８：Ｙｅｓ）、処理を終了する。
【００５０】
一方、状態判定部４０６により、安全確認行動を行わなかったと判定された場合（Ｓ５０８：Ｎｏ）、出力部４０７が、警報情報を出力する（Ｓ５０９）。
【００５１】
Ｓ５０６において、照合部４０２が、撮像画像データから、運転者の顔を検出できなかったと判定した場合（Ｓ５０６：Ｎｏ）、重心取得部４０５が、着座センサ２０３から、重心位置情報を取得する（Ｓ５１０）。
【００５２】
そして、状態判定部４０６は、交差点に進入する前の（例えば、Ｓ５０１で取得した）重心位置情報と、交差点に進入する直前の（例えばＳ５１０で取得した）重心位置情報と、に基づいた、進行方向における重心の位置の変化が、所定の閾値より小さいか否かを判定する（Ｓ５１１）。重心の位置の変化が、所定の閾値以上の場合（Ｓ５１１：Ｎｏ）、運転者は交差点の安全確認のために、身を乗り出しているものと判断し、処理を終了する。
【００５３】
一方、状態判定部４０６が、重心の位置の変化が、所定の閾値より小さいと判定した場合（Ｓ５１１：Ｙｅｓ）、出力部４０７が、警報情報を出力する（Ｓ５０９）。
【００５４】
本実施形態においては、上述した処理を行うことで、運転者が安全確認行動を行ったか否かを判定できるため、より適切な安全確認に関する情報を出力することができる。
【００５５】
本実施形態は、車両１が走行している周辺が表された情報として、地図情報を用いる例について説明するが、地図情報に制限するものではない。例えば、車両１が走行している周辺が表された情報として、車両１の周辺を撮像した撮像画像情報を用いても良い。このような場合、位置判定部４０４が、車両１が走行している周辺が表された情報である撮像画像データに基づいて、車両１の位置が、見通しが良くないと識別されている交差点近傍であるか否かを判定する。具体的には、撮像画像情報を用いた場合、撮像画像情報に写っている周辺の環境を解析して、車両１が進入する交差点の見通しが良いか否かを判定する手法が考えられる。
【００５６】
（第１の実施形態の変形例）
上述した実施形態においては、運転者による安全確認行動がなかった場合に警報情報を出力する場合について説明した。しかしながら、上述した実施形態は、運転者による安全確認行動がなかった場合に警報情報を出力する場合に制限するものではない。変形例として、運転者による安全確認行動がなかった場合に、移動制御を行う場合について説明する。
【００５７】
図６は、第１の実施形態の変形例にかかる車両１が有するＥＣＵ１４の機能的構成を示すブロック図である。図６に示される変形例では、第１の実施形態のＥＣＵ１４の構成に移動制御部６０１が追加された構成とする。移動制御部６０１は、第１の実施形態の構成と同様に、ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。
【００５８】
移動制御部６０１は、状態判定部４０６により運転者による安全確認行動がなかったと判定された場合に、車両１の移動制御を行う。本変形例の移動制御部６０１は、移動制御として、車両１の速度を所定の速度にする制御を行う。所定の速度は、例えば低速度や、０ｋｍ／ｈ等が考えられる。本変形例は、移動制御部６０１が、ブレーキシステム１８を制御して、所定の速度にする例について説明するが、操舵システム１３を制御しても良い。
【００５９】
本変形例における、状態判定部４０６により運転者による安全確認行動がなかったと判定される場合としては、第１の実施形態と同様に、検出された顔の向き及び目の位置から、左右交互に首を振ることを検出できなかった場合や、進行方向における、重心の位置座標の変化が、所定の閾値以下の場合などが考えられる。
【００６０】
これにより、変形例の安全確認システムにおいては、車両１の安全性を向上させることができる。
【００６１】
（第２の実施形態）
第１の実施形態においては、撮像画像データにおいて運転者の顔が検出されなかった場合に、重心取得部４０５により取得された複数の重心位置情報に基づいた重心の位置座標の変化が、所定の閾値より小さいか否かを判定する例について説明した。しかしながら、第１の実施形態は、運転者の顔が検出されなかった場合に限り、運転者か乗り出しているか否かを判定する手法に制限するものでない。車両１の位置が、見通しが良くない交差点近傍である場合であれば、運転者が必ず乗り出しているか否かを判定しても良い。
【００６２】
第２の実施形態は、交差点の見通しの悪さを複数段階で保持し、見通しの悪さに応じて安全確認動作の判定手法を異ならせる例について説明する。なお、第２の実施形態の構成は、第１の実施形態と同様として説明を省略する。
【００６３】
地図記憶部４１２は、第１の実施形態と同様の地図情報を有しているが、走行可能な経路の交差点毎に設定されている、見通しが良いか否かを示した情報が、第１の実施形態と異なる。
【００６４】
つまり、本実施形態の地図記憶部４１２は、交差点毎に、複数のパラメータ“非常に悪い”、“悪い”、“良い”のうちいずれか一つが設定されている。“非常に悪い”は、見通しが非常に悪い交差点であって、運転者の身を乗り出した確認が必要となる交差点を示している。“悪い”は、見通しが良くない交差点であって、左右方向の首振りでも、運転者の身を乗り出した確認でも良い交差点を示している。“良い”は、見通しが良い交差点であって、左右方向の首振りで十分であり、運転者の身を乗り出した確認が不要な交差点を示している。本実施形態においては、パラメータに応じて、判定処理を異ならせる例とする。
【００６５】
位置判定部４０４は、位置取得部４０３が取得した位置情報と、地図記憶部４１２に記憶された地図情報と、に基づいて、位置情報で示される車両１が、交差点に進入する前に、当該交差点が“非常に悪い”、“悪い”、“良い”のうち、いずれが設定されているかを判定する。
【００６６】
状態判定部４０６は、位置判定部４０４により判定されたパラメータに従った安全確認を示す行動が行われたか否かを判定する。
【００６７】
本実施形態の状態判定部４０６は、交差点に“非常に悪い”が設定されていると判定された場合、撮像画像データにおいて運転者の顔が検出されたか否かを判定する。状態判定部４０６は、撮像画像データにおいて運転者の顔が検出された場合には、身を乗り出して交差点を確認していないと判定する。また、状態判定部４０６は、撮像画像データにおいて運転者の顔が検出されていないと判定した場合、さらに、重心の位置座標の変化が所定の閾値以上か否かを判定する。状態判定部４０６は、重心の位置座標の変化が所定の閾値以上と判定した場合、運転者が身を乗り出して交差点を確認していると判定し、重心の位置座標の変化が所定の閾値より小さいと判定した場合、運転者が身を乗り出して交差点を確認していないと判定する。
【００６８】
出力部４０７は、交差点に“非常に悪い”が設定されていると判定された場合、状態判定部４０６により運転者の顔が検出されたと判定された場合、及び、運転者の重心位置の変化が、所定の閾値より小さいと判定された場合に、警報情報を出力する。なお、本実施形態は、状態判定部４０６により運転者の顔が検出されたと判定された場合、及び、運転者の重心位置の変化が、所定の閾値より小さいと判定された場合に、警報情報を出力する例について説明する。しかしながら、本実施形態は、上記の２つの場合の両方を満たした場合に警報情報を出力することに制限するものではなく、いずれか一方のみ満たした場合に警報情報を出力しても良い。
【００６９】
本実施形態の状態判定部４０６は、交差点に“悪い”又は“良い”が設定されている場合、第１の実施形態と同様の判定を行う。
【００７０】
次に、本実施形態のＥＣＵ１４における安全確認処理について説明する。図７は、本実施形態にかかるＥＣＵ１４における上述した処理の手順を示すフローチャートである。
【００７１】
まずは、第１の実施形態の図５の処理と同様に、重心位置情報、撮像画像データ、及び、車両１の現在の位置情報が取得される（Ｓ７０１〜Ｓ７０３）。
【００７２】
位置判定部４０４は、位置取得部４０３が取得した位置情報と、地図記憶部４１２に記憶された地図情報と、に基づいて、位置情報で示される車両１の現在の位置が交差点近傍まで近づいているか否かを判定する（Ｓ７０４）。
【００７３】
さらに、位置判定部４０４は、車両１の現在の位置が、交差点近傍まで近づいていると判定した場合（Ｓ７０４：Ｙｅｓ）、地図記憶部４１２に記憶された地図情報に基づいて、車両１が近づいている交差点が、“非常に悪い”が設定されている交差点であるか否かを判定する（Ｓ７０５）。
【００７４】
そして位置判定部４０４は、車両１が近づいている交差点が、“非常に悪い”が設定されている交差点であると判定した場合（Ｓ７０５：Ｙｅｓ）、照合部４０２は、撮像画像データから、運転者の顔を検出できたか否かを判定する（Ｓ７０６）。そして、照合部４０２は、撮像画像データから、運転者の顔を検出できた場合（Ｓ７０６：Ｙｅｓ）、運転者が身を乗り出して確認していないものとみなし、出力部４０７が、警報情報を出力する（Ｓ７０９）。
【００７５】
一方、照合部４０２は、撮像画像データから、運転者の顔を検出できなかった場合（Ｓ７０６：Ｎｏ）、重心取得部４０５が、着座センサ２０３から、重心位置情報を取得する（Ｓ７０７）。
【００７６】
そして、状態判定部４０６は、交差点に進入する前の（例えば、Ｓ７０１で取得した）重心位置情報と、交差点に進入する直前の（例えばＳ７０７で取得した）重心位置情報と、に基づいた、進行方向における重心の位置の変化が、所定の閾値より小さいか否かを判定する（Ｓ７０８）。重心の位置の変化が、所定の閾値以上と判定された場合（Ｓ７０８：Ｎｏ）、運転者は交差点の安全確認のために、身を乗り出しているものと判断し、処理を終了する。
【００７７】
一方、状態判定部４０６により、重心の位置の変化が、所定の閾値より小さいと判定された場合（Ｓ７０８：Ｙｅｓ）、出力部４０７は、警報情報を出力する（Ｓ７０９）。
【００７８】
Ｓ７０５において、位置判定部４０４は、車両１が近づいている交差点が、“非常に悪い”が設定されている交差点ではないと判定した場合（Ｓ７０５：Ｎｏ）、車両１が近づいている交差点が、“悪い”が設定されている交差点であるか否かを判定する（Ｓ７１０）。車両１が近づいている交差点が、“悪い”が設定されている交差点ではないと判定された場合（Ｓ７１０：Ｎｏ）、換言すれば、車両１が近づいている交差点が、見通しが良いと識別されている交差点と判定された場合、照合部４０２が、撮像画像データから、運転者の顔を検出できたか否かを判定する（Ｓ７１６）。運転者の顔を検出できたと判定された場合（Ｓ７１６：Ｙｅｓ）、Ｓ７１２に進む。一方、運転者の顔を検出できなかったと判定された場合（Ｓ７１６：Ｎｏ）、運転者の安全確認行動を確認できない状況にあるとみなして、出力部４０７が、警報情報を出力し（Ｓ７０９）、処理を終了する。
【００７９】
一方、位置判定部４０４により、車両１が近づいている交差点が、“悪い”が設定されている交差点であると判定された場合（Ｓ７１０：Ｙｅｓ）、第１の実施形態のＳ５０６〜Ｓ５１１と同様に、運転者の顔を検出できたか否かの判定から警報情報出力までの処理（Ｓ７１１〜Ｓ７１５、Ｓ７０９）を行うものとして説明を省略する。
【００８０】
本実施形態においては、見通しが極めて悪い交差点において、運転者が身を乗り出して確認するような安全確認行動を行わなかった場合に、警報情報を出力することで、運転者に安全確認行動を促し、安全性を向上させることができる。
【００８１】
（第３の実施形態）
上述した実施形態においては、撮像画像データにおいて運転者の顔が検出されたか否かに応じた処理を行う例について説明した。しかしながら、上述した実施形態は、撮像画像データにおいて運転者の顔が検出されたか否かに応じた処理を行う例に制限するものではない。そこで第３の実施形態においては、撮像画像データにおいて運転者の顔が検出されたか否かに応じた処理を行わずに、重心の位置座標の変化で、安全確認を行ったか否かを判定する例について説明する。
【００８２】
図８は、第３の実施形態にかかる車両１が有するＥＣＵ１４の機能的構成を示すブロック図である。図８に示される実施形態では、第１の実施形態のＥＣＵ１４の構成から、画像取得部４０１、照合部４０２が削除された上で、ＳＳＤ１４ｆから三次元顔モデル記憶部４１１が削除された例とする。
【００８３】
本実施形態の位置判定部４０４は、位置取得部４０３が取得した位置情報と、地図記憶部４１２に記憶された地図情報と、に基づいて、位置情報で示される車両１の現在の位置が、見通しが良くないと識別されている交差点近傍まで近づいているか否かを判定する。
【００８４】
車両１の現在の位置が、見通しが良くないと識別されている交差点近傍まで近づいていると判定された場合、状態判定部４０６は、交差点に進入する前の重心位置情報と、交差点に進入する直前の重心位置情報と、に基づいた、進行方向における運転者の重心の位置の変化が、所定の閾値より小さいか否かを判定する。重心の位置の変化が、所定の閾値以上と判定された場合、運転者は交差点の安全確認のために、身を乗り出しているものと判定し、所定の閾値より小さいと判定された場合、運転者は身を乗り出していないものと判定する。
【００８５】
出力部４０７は、状態判定部４０６により、所定の閾値より小さいと判定された場合、換言すれば運転者は身を乗り出していないものと判定された場合に、出力部４０７が、警報情報を出力する。
【００８６】
このように、第３の実施形態においては、運転者の重心の位置の変化に応じて、安全確認行動を行ったか否かを判定できるので、上述した実施形態と同様の効果を得ることができる。
【００８７】
上述した実施形態及び変形例においては、運転者の重心位置の変化が所定の閾値以上か否かを判定することとした。当該判定手段により、運転者による安全確認行動があったか否かを判定できるため、適切なタイミングで警報を出力できるので、安全性の向上を図ることができる。
【００８８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８９】
１…車両、１００…安全確認システム、２０１…撮像装置、２０２…ハンドルコラム、２０３…着座センサ、４０１…画像取得部、４０２…照合部、４０３…位置取得部、４０４…位置判定部、４０５…重心取得部、４０６…状態判定部、４０７…出力部、４１１…三次元顔モデル記憶部、４１２…地図記憶部、６０１…移動制御部。
【図１】
2018206037.tif 000003
【図２】
2018206037.tif 000004
【図３】
2018206037.tif 000005
【図４】
2018206037.tif 000006
【図５】
2018206037.tif 000007
【図６】
2018206037.tif 000008
【図７】
2018206037.tif 000009
【図８】
2018206037.tif 000010