(57)【要約】      （修正有）【課題】自動運転と手動運転の切り替え時の安全性を向上させる技術を提供する。【解決手段】運転支援装置１は自動車２０（移動体）の内部に搭載される。自動車２０にはカメラ２が備わり、進行方向と運転者の顔を撮影する。運転支援装置１は、撮影した画像から自動車２０の移動先方向と自動車２０の運転者の視線方向を検出し、その移動先方向と視線方向とを比較して、移動先方向と視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する。【選択図】図１
2020052643.tif 000002
【特許請求の範囲】
【請求項１】
移動体の移動先方向を検出する移動先検出部と、
前記移動体の運転者の視線方向を検出する視線方向検出部と、
前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する運転モード制御部と、
を備える運転支援装置。
【請求項２】
前記移動先方向と前記視線方向とが所定の範囲内である場合に、前記変更の許可に基づいて自動運転モードの運転制御を停止して手動運転モードの運転モードに切り替える運転制御部と、
を備える請求項１に記載の運転支援装置。
【請求項３】
前記移動先検出部は、前記移動体が走行する路面に前記移動体を挟んで左右に設けられた通行線の前記移動先方向の中央点と、前記移動体の現在の位置における前記左右に設けられた通行線の中央点とを結ぶ線を前記移動先方向と検出する
請求項１または請求項２に記載の運転支援装置。
【請求項４】
前記移動体の進行方向を撮影する第一カメラから第一撮影画像を取得し、当該第一撮影画像に写る前記通行線の位置を検出する
請求項３に記載の運転支援装置。
【請求項５】
前記移動先検出部は、地図情報に含まれる前記移動体の移動経路の現在の位置と移動先の位置とに基づいて前記移動先方向を検出する
請求項１または請求項２に記載の運転支援装置。
【請求項６】
前記移動先検出部は、道路設計情報に含まれる前記移動体の移動経路の現在の位置と移動先の位置とに基づいて前記移動先方向を検出する
請求項１または請求項２に記載の運転支援装置。
【請求項７】
視線方向検出部は、前記移動体の運転者の顔を含んで撮影する第二カメラから第二撮影画像を取得し、当該第二撮影画像に写る眼球内の瞳の位置に基づいて前記視線方向を検出する
請求項１から請求項６の何れか一項に記載の運転支援装置。
【請求項８】
前記運転モード制御部は、前記移動先方向と前記視線方向とを水平平面に写像した各方向が所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する
請求項１から請求項７の何れか一項に記載の運転支援装置。
【請求項９】
移動体の移動先方向を検出し、
前記移動体の運転者の視線方向を検出し、
前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する
運転支援方法。
【請求項１０】
運転支援装置のコンピュータを、
移動体の移動先方向を検出する移動先検出手段、
前記移動体の運転者の視線方向を検出する視線方向検出手段、
前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する運転モード制御手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置、運転支援方法、プログラムに関する。
【背景技術】
【０００２】
近年、の自動車等の移動体への自動運転技術の実装の為にその技術開発の速度が増している。自動運転技術の一つとして、自動運転を手動運転へ切り替えることのできるものが想定される。関連する技術が特許文献１に開示されている。
【０００３】
特許文献１の段落００４６には車両の運転を自動運転から手動運転に切り替えることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１５３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述のような自動運転と手動運転の切り替え時の安全性を向上させる技術が求められている。
【０００６】
そこでこの発明は、上述の課題を解決する運転支援装置、運転支援方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、運転支援装置は、移動体の移動先方向を検出する移動先検出部と、前記移動体の運転者の視線方向を検出する視線方向検出部と、前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する運転モード制御部と、を備えることを特徴とする。
【０００８】
本発明の第２の態様によれば、運転支援方法は、移動体の移動先方向を検出し、前記移動体の運転者の視線方向を検出し、前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可することを特徴とする。
【０００９】
本発明の第３の態様によれば、プログラムは、運転支援装置のコンピュータを、移動体の移動先方向を検出する移動先検出手段、前記移動体の運転者の視線方向を検出する視線方向検出手段、前記移動先方向と前記視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する運転モード制御手段、として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、自動運転と手動運転の切り替え時の安全性を向上させる技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態による運転支援装置を搭載した自動車を示す図である。
【図２】本実施形態による運転支援装置のハードウェア構成図である。
【図３】本実施形態による運転支援装置の機能ブロック図である。
【図４】本実施形態による運転支援装置の処理フローを示す図である。
【図５】本実施形態による運転支援装置の処理の詳細を説明する第一の図である。
【図６】本実施形態による運転支援装置の処理の詳細を説明する第二の図である。
【図７】本実施形態による運転支援装置の最小構成を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態による運転支援装置を図面を参照して説明する。
図１は本実施形態による運転支援装置を搭載した自動車を示す図である。
運転支援装置１は自動車２０等の移動体の内部に搭載される。移動体は自動車２０以外にも移動して人を運搬するものであればどのようなものであってもよい。例えば移動体には自動車２０以外に、航空機、船舶、自動二輪などであってもよい。
【００１３】
自動車２０にはカメラ２が備わる。カメラ２は運転支援装置１と有線または無線により通信接続されている。カメラ２はレンズ２Ａへの入射光に基づいて自動車２０の外部の進行方向の路面を撮影した第一撮影画像を運転支援装置１へ送信する。またカメラ２はレンズ２Ｂへの自動車２０の内部の運転者の顔を撮影した第二撮影画像を運転支援装置１へ送信する。
【００１４】
本実施形態においてカメラ２は第一撮影画像と第二撮影画像とをそれぞれ運転支援装置１へ送信するものであるが、自動車２０は進行方向の撮影により第一撮影画像を生成する第一カメラと、運転者の顔の撮影により第二撮影画像を生成する第二カメラとをそれぞれ備えてもよい。つまり、本実施形態のカメラ２は第一カメラと第二カメラの機能を備える。
【００１５】
図２は運転支援装置のハードウェア構成図である。
この図が示すように運転支援装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
【００１６】
図３は運転支援装置の機能ブロック図である。
運転支援装置１は電源が投入されると起動し、予め記憶する運転支援プログラムを実行する。これにより運転支援装置１には、運転制御部１１、移動先検出部１２、視線方向検出部１３、運転モード制御部１４、入力部１５、出力部１６の各機能を備える。
【００１７】
運転制御部１１は自動車２０の運転制御と、運転支援装置１の他の機能部を制御する。
移動先検出部１２は、自動車２０の移動先方向を検出する。
視線方向検出部１３は、自動車２０の運転者の視線方向を検出する。
運転モード制御部１４は、移動先方向と視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する。
入力部１５はユーザ操作をユーザインタフェースから受け付ける。
出力部１６はモニタやスピーカ等の所定の出力装置に出力情報を出力する。
通信部１７はカメラ２や他の外部装置と通信接続する。
【００１８】
図４は運転支援装置の処理フローを示す図である。
次に運転支援装置の処理フローについて説明する。
運転制御部１１は運転者の操作に基づいて自動車２０の自動運転モードによる運転制御を行っているとする。自動運転モードによる運転制御は、一例としてはカメラ２から進行方向から得た第一撮影画像や他のセンサから得た情報（位置情報、速度など）や予めＨＤＤ等に記憶する地図情報に基づいて、目的地までの経路を自動走行する制御である。自動運転モードによる運転制御は公知の技術を用いてよい。
【００１９】
運転制御部１１は自動運転モードである状況において手動運転モードに切り替えるタイミングであるか否かを判定する（ステップＳ１０１）。例えば運転制御部１１はＧＰＳ（Global Positioning System）やＧＮＳＳ（Global Navigation Satellite System）等から取得した現在の緯度経度と目的地（自宅や所定の駐車場など）の緯度経度との距離の算出に基づいて、目的地まで２００ｍなどの所定の距離以内と判定した場合、手動運転モードに切り替えるタイミングであると判定する。運転制御部１１は入力部１５からユーザ操作に基づく手動運転モードへの切り替え要求を取得した場合、手動運転モードに切り替えるタイミングであると判定してもよい。運転制御部１１は通信部１７を介して外部装置から緊急車両の接近の通知を受けた場合、手動運転モードに切り替えるタイミングであると判定してもよい。運転制御部１１は自動車２０に設けられた所定のセンサから故障を示す信号を取得したことを検知した場合、手動運転モードに切り替えるタイミングであると判定してもよい。運転制御部１１は外部装置から高速道路などの所定の道路への進入を示す信号を検知した場合、手動運転モードに切り替えるタイミングであると判定してもよい。
【００２０】
運転制御部１１は自動運転モードである状況において手動運転モードに切り替えるタイミングであると判定した場合、移動先検出部１２、視線方向検出部１３、運転モード制御部１４へ処理開始を指示する。移動先検出部１２は、カメラ２から運転支援装置１が受信した進行方向の路面を撮影した第一撮影画像を取得する（ステップＳ１０２）。また視線方向検出部１３はカメラ２から運転支援装置１が受信した運転者の顔を撮影した第二撮影画像を取得する（ステップＳ１０３）。
【００２１】
移動先検出部１２は第一撮影画像に写る通行線の位置を検出する（ステップＳ１０４）。そして移動先検出部１２は、一例としては、自動車２０が走行する路面に自動車２０を挟んで左右に設けられた通行線の移動先方向の中央点と、自動車２０の現在の位置における左右に設けられた通行線の中央点とを結ぶ直線の第一移動先方向を算出する（ステップＳ１０５）。なおここで得られた移動先方向はカメラのレンズ２Ａを原点とする第一の３次元空間のベクトルを示す。移動先検出部１２はこの移動先方向を第一の３次元空間の水平平面に写像した第二移動先方向を算出する（ステップＳ１０６）。これにより移動先検出部１２は自動車２０の移動先の方向を検出することができる。移動先検出部１２はこの水平平面に写像した第二移動先方向を運転モード制御部１４へ出力する。
【００２２】
また視線方向検出部１３は、第二撮影画像に写る眼球内の瞳の位置に基づいて第一視線方向を算出する（ステップＳ１０７）。この視線方向の検出は公知の技術を用いればよい。なおここで得られた視線方向は運転者の瞳を原点とする第二の３次元空間のベクトルを示す。視線方向検出部１３はこの第一視線方向を第二の３次元空間の水平平面に写像した第二視線方向を算出する（ステップＳ１０８）。これにより視線方向検出部１３は運転者の視線の方向を検出することができる。視線方向検出部１３はこの水平平面に写像した第二視線方向を運転モード制御部１４へ出力する。
【００２３】
運転モード制御部１４は入力した第二移動先方向と第二視線方向との原点を重ねた場合の、各方向の成す角度を算出する（ステップＳ１０９）。運転モード制御部１４は第二移動先方向と第二視線方向との当該成す角度が所定の角度未満であるかを判定する（ステップＳ１１０）。運転モード制御部１４は第二移動先方向と第二視線方向との当該成す角度が所定の角度未満である場合には、自動運転モードから手動運転モードへの切り替え変更を許可すると決定する（ステップＳ１１１）。そして運転モード制御部１４は、変更の許可に基づいて自動運転モードの運転制御を停止して手動運転モードの運転モードに切り替える指示を運転制御部へ出力する。
【００２４】
運転制御部１１は手動運転モードの運転モードに切り替える指示を運転モード制御部１４から取得する。運転制御部１１はこの指示に基づいて、自動運転モードから手動運転モードへの切り替えを行う（ステップＳ１１２）。以降、自動車２０は運転者の運転操作に基づいて動作する。運転制御部１１は処理を終了するかを判定する（ステップＳ１１３）。運転制御部１１は処理を終了すると判定するまでステップＳ１０１からの処理を繰り返す。
【００２５】
図５は運転支援装置の処理の詳細を説明する第一の図である。
図５で示す左右の２枚の第一撮影画像は、それぞれ自動車２０の走行中の道路が直線である場合に生成された第一撮影画像５１と、走行中の道路が曲がっている場合に生成された第二撮影画像５２とを示す。
【００２６】
移動先検出部１２は上述したように第一撮影画像５１から通行線５１ａ、５１ｂを検出する。移動先検出部１２は、第一撮影画像における白を示す画素が連続する直線や曲線を、エッジ検出技術等を用いて検出することで、通行線５１ａ、５１ｂを検出する。そして移動先検出部１２は左右の通行線５１ａ、５１ｂの下端点の中点５１ｃと、通行線５１ａ、５１ｂの上端の中点５１ｄを算出する。移動先検出部１２はそれら中点５１ｃと５１ｄとを結ぶ直線を算出する。この直線は第一撮影画像５１における第一移動先方向５１ｅである。
【００２７】
また移動先検出部１２は同様に、第二撮影画像５２から通行線５２ａ、５２ｂを検出する。移動先検出部１２は、第二撮影画像５２における白を示す画素が連続する直線や曲線を、エッジ検出技術等を用いて検出することで、通行線５２ａ、５２ｂを検出する。そして移動先検出部１２は左右の通行線５２ａ、５２ｂの下端点の中点５２ｃと、通行線５２ａ、５２ｂの上端の中点５２ｄを算出する。移動先検出部１２はそれら中点５２ｃと５２ｄとを結ぶ直線を算出する。この直線は第二撮影画像５２における第二移動先方向５２ｅである。
【００２８】
図６は運転支援装置の処理の詳細を説明する第二の図である。
第二撮影画像５２を用いて処理が進む場合の例について図６を用いて説明する。図５の説明により第二撮影画像５２から第二移動先方向５２ｅを算出すると、移動先検出部１２は第二移動先方向５２ｅを第一の３次元空間の水平平面に写像した第二移動先方向５２ｅ’を算出する。そして視線方向検出部１３は、第一視線方向５３を第二の３次元空間の水平平面に写像した第二視線方向５３’を算出する。そして運転モード制御部１４は入力した第二移動先方向５２ｅ’と第二視線方向５３’との原点を重ねた場合の、各方向の成す角度θを算出する。運転モード制御部１４はこのθが閾値未満であれば自動運転モードから手動運転モードへの切り替え変更を許可すると決定する。
【００２９】
なお、移動先検出部１２は、予め運転支援装置１が記憶する地図情報を取得し、当該地図情報に含まれる自動車２０の移動経路の現在の位置と、当該移動経路上の現在位置から所定距離先を示す移動先の位置とを結ぶ、当該地図平面上の直線を、第二移動先方向と算出してもよい。
【００３０】
また、移動先検出部１２は、予め運転支援装置１が記憶する道路設計情報を取得し、当該道路設計情報に含まれる自動車２０の移動経路（道路）の現在の位置と、当該移動経路上の現在位置から所定距離先を示す移動先の位置とを結ぶ、当該地図平面上の直線を、第二移動先方向と算出してもよい。道路設計情報は道路の路肩や車線中央の位置情報などを記憶する情報であってよい。
【００３１】
以上、本実施形態による運転支援装置１の処理について説明したが、上述の処理によれば、自動運転モードである状況において手動運転モードに切り替えるタイミングであると判定した場合に、運転者の視線が移動先方向に基づいて移動先方向とは異なる方向であると判定されるような場合に、その運転者へ手動運転させることを中止することができる。これにより、自動運転と手動運転の切り替え時の安全性を向上させることができる。
【００３２】
運転支援装置１の運転モード制御部１４は、第二移動先方向５２ｅ’と第二視線方向５３’との成す角度θが所定閾値未満であるかの判定に加えて、第二移動先方向５２ｅ’に対応するハンドル角度か否かの判定を行ってもよい。そして運転モード制御部１４は、その結果、ハンドル角度による自動車２０の移動方向が第二移動先方向５２ｅ’に対応すると判定した場合に、自動運転モードから手動運転モードへの切り替え変更を許可すると決定してもよい。
【００３３】
また上述の処理において運転モード制御部１４は、第一視線方向の垂直成分（垂直ベクトル方向の大きさ）が所定の閾値以上である場合、視線が上を向いているまたは下を向いていると判定し、自動運転モードから手動運転モードへの切り替え変更を許可しないと決定してもよい。
【００３４】
また上述の処理において運転モード制御部１４は、自動車２０の現在位置から所定の経路上の近いと判定される位置までの間に交差点や踏切などの事故発生率の高いエリアが有る場合に、自動運転モードから手動運転モードへの切り替え変更を許可しないと決定してもよい。
【００３５】
また上述の処理において運転モード制御部１４は、移動先検出部１２から第二移動先方向を取得できない場合、自動運転モードから手動運転モードへの切り替え変更を許可しないと決定してもよい。第二移動先方向を取得できない場合とは、例えば自動車２０の前方に障害物や、他の車両が近接して位置する場合などである。
【００３６】
また上述の処理において運転支援装置１は、第二移動先方向５２ｅ’と第二視線方向５３’との成す角度θの時間経過に応じた遷移に基づいて安全運転スコアを加算したり減算したりするようにしてもよい。成す角度θの時間が多い場合にはスコアを減算、少ない場合にはスコアを加算する。
【００３７】
また上述の処理において視線方向検出部１３は視線方向を眼球内の瞳の位置に基づいて算出しているが、顔の向いている方向なども用いて視線方向を算出するようにしてもよい。
【００３８】
なお移動体が自動車２０以外の、航空機や船舶である場合には路面を走行しないためそもそも撮影画像中に通行線が存在しない。この場合には運転支援装置１は航空機や船舶の操作指示に基づいて３次元空間中の移動先方向を検出し、その移動先方向と視線方向とを比較して、移動先方向と視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可するようにしてよい。
【００３９】
図７は運転支援装置の最小構成を示す図である。
この図が示すように運転支援装置１は少なくとも、移動先検出部１２と、視線方向検出部１３と、運転モード制御部１４とを備える。
移動先検出部１２は、移動体（自動車２０）の移動先方向を検出する。
視線方向検出部１３は、移動体の運転者の視線方向を検出する。
運転モード制御部１４は、移動先方向と視線方向とが所定の範囲内である場合に自動運転モードから手動運転モードへの変更を許可する。
【００４０】
上述の運転支援装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
【００４１】
上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００４２】
１・・・運転支援装置
２・・・カメラ
１１・・・運転制御部
１２・・・移動先検出部
１３・・・視線方向検出部
１４・・・運転モード制御部
１５・・・入力部
１６・・・出力部
１７・・・通信部
【図１】
2020052643.tif 000003
【図２】
2020052643.tif 000004
【図３】
2020052643.tif 000005
【図４】
2020052643.tif 000006
【図５】
2020052643.tif 000007
【図６】
2020052643.tif 000008
【図７】
2020052643.tif 000009