(57)【要約】【課題】運転者に不要な警報を発することで自動運転の終了を意識させてしまうことを避けることができる脇見報知装置を提供する。【解決手段】脇見報知装置１は、自動運転を実行中の車両の運転者が脇見をしていることを判定し、脇見をしていると判定された運転者が予め設定された時間内に脇見を解消したと判定されなければ自動運転を終了させる警報を発する。脇見報知装置１は、運転者の顔向き又は視線方向を取得する運転者情報取得部１１と、運転者の顔向き又は視線方向に基づいて、運転者が脇見をしているか否かを判定する脇見判定部１２と、自動運転によるレーンチェンジの実行中において、運転者が脇見をしていると判定された場合に注意喚起を行う報知部１３と、を備える。脇見報知装置１は、注意喚起に応じて運転者が脇見を解消したと判定されなくても自動運転を終了させない。【選択図】図１
2020035043.tif 000002
【特許請求の範囲】
【請求項１】
自動運転を実行中の車両の運転者が脇見をしていることを判定し、脇見をしていると判定された前記運転者が予め設定された時間内に脇見を解消したと判定されなければ前記自動運転を終了させる警報を発する脇見報知装置であって、
前記運転者の顔向き又は視線方向を取得する運転者情報取得部と、
前記運転者情報取得部により取得された前記運転者の前記顔向き又は前記視線方向に基づいて、前記運転者が脇見をしているか否かを判定する脇見判定部と、
前記自動運転によるレーンチェンジの実行中において、前記脇見判定部により前記運転者が脇見をしていると判定された場合に注意喚起を行う報知部と、を備え、
前記脇見判定部により前記注意喚起に応じて前記運転者が脇見を解消したと判定されなくても前記自動運転を終了させない、脇見報知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、脇見報知装置に関する。
【背景技術】
【０００２】
運転者の顔を撮像した顔画像から運転者の視線方向を検出し、検出した視線方向が正面等の所定範囲の外を向いている場合に運転者が脇見をしていると判定する脇見判定装置が開示されている（例えば特許文献１参照）。このような脇見判定装置では、自動運転を実行中の車両の運転者が脇見をしていると判定されなければ自動運転を終了させる警報を運転者に発することが考えられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５１８４５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の自動運転において自動でレーンチェンジを行う車両制御が知られている。車両が自動でレーンチェンジを行う場合、運転者は車両の周囲を確認するために正面からずれた方向を向くことがある。このとき、上述した脇見判定装置では、運転者が車両の周囲を確認するために正面からずれた方向を向いていることで運転者が脇見をしていると判定されてしまい、運転者に警報が発せられて自動運転の終了を意識させてしまうおそれがある。
【０００５】
そこで、本開示は、運転者に不要な警報を発することで自動運転の終了を意識させてしまうことを避けることができる脇見報知装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る脇見報知装置は、自動運転を実行中の車両の運転者が脇見をしていることを判定し、脇見をしていると判定された運転者が予め設定された時間内に脇見を解消したと判定されなければ自動運転を終了させる警報を発する脇見報知装置であって、運転者の顔向き又は視線方向を取得する運転者情報取得部と、運転者情報取得部により取得された運転者の顔向き又は視線方向に基づいて、運転者が脇見をしているか否かを判定する脇見判定部と、自動運転によるレーンチェンジの実行中において、脇見判定部により運転者が脇見をしていると判定された場合に注意喚起を行う報知部と、を備え、脇見判定部により注意喚起に応じて運転者が脇見を解消したと判定されなくても自動運転を終了させない。
【発明の効果】
【０００７】
本開示の態様によれば、運転者に不要な警報を発することで自動運転の終了を意識させてしまうことを避けることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態に係る脇見報知装置を示すブロック図である。
【図２】図２は、脇見報知処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、例示的な実施形態について説明する。
【００１０】
図１は、本実施形態に係る脇見報知装置１を示すブロック図である。図１に示される脇見報知装置１は、自動運転が可能な乗用車等の車両に搭載され、自動運転を実行中の車両の運転者が脇見をしていることを判定し、脇見をしていると判定された運転者に対して状況に応じた報知を行う装置である。「自動運転」とは、予め設定された目的地に向かって自動で車両を走行させる車両制御である。自動運転では、乗員が運転操作を行う必要がなく、車両が自動で走行する。「脇見」とは、運転者が正面等の所定範囲の外を向いている状態を意味する。
【００１１】
「報知」には、警報及び注意喚起が含まれる。「警報」とは、脇見をしていると判定された運転者が当該警報に応じて予め設定された時間内に脇見を解消したと判定されなければ自動運転を終了させる報知である。「注意喚起」とは、脇見をしていると判定された運転者が当該注意喚起に応じて脇見を解消したと判定されなくても自動運転を終了させない報知である。警報及び注意喚起の具体的な態様については後述する。
【００１２】
脇見報知装置１は、装置を統括的に制御する脇見報知ＥＣＵ［Electronic Control Unit］１０を備えている。脇見報知ＥＣＵ１０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read OnlyMemory］、ＲＡＭ［Random Access Memory］等を有する電子制御ユニットである。脇見報知ＥＣＵ１０は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、脇見報知処理に関する各機能を実現する。脇見報知ＥＣＵ１０は、複数のＥＣＵにより構成されていてもよい。脇見報知ＥＣＵ１０の機能の一部は、車両と通信可能なサーバで実行されてもよい。
【００１３】
脇見報知ＥＣＵ１０には、ドライバモニタカメラ２、自動運転ＥＣＵ３、及びＨＭＩ４が接続されている。
【００１４】
ドライバモニタカメラ２は、運転者を撮像する撮像機器である。ドライバモニタカメラ２は、車両のステアリングコラムのカバー上で運転者の前方の位置に設けられ、少なくとも運転者の顔を撮像する。ドライバモニタカメラ２は、運転者を複数方向から撮像するために複数個設けられていてもよい。ドライバモニタカメラ２は、運転者の撮像情報を脇見報知ＥＣＵ１０に送信する。
【００１５】
自動運転ＥＣＵ３は、車両の自動運転を実行するための電子制御ユニットである。自動運転ＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する電子制御ユニットである。自動運転ＥＣＵ３は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、自動運転の各機能を実現する。自動運転ＥＣＵ３は、複数のＥＣＵにより構成されていてもよい。自動運転ＥＣＵ３の機能の一部は、車両と通信可能なサーバで実行されてもよい。
【００１６】
自動運転ＥＣＵ３は、車載のＧＰＳ［Global Positioning System］受信部が測定した車両の位置情報、地図データベースの地図情報、車載のカメラ及びレーダセンサ（ミリ波レーダ及びライダー）の検出結果から認識された車両の周辺環境（他車両の位置等）、及び、車載の内部センサ（車速センサ、ヨーレートセンサ等）の検出結果から認識された車両状態（車速、ヨーレート等）に基づいて、予め設定された目的地までの目標ルートに沿った走行計画を生成する。目的地は乗員等により設定されてもよい。目標ルートは、目的地に基づいて、周知のナビゲーションシステムによって設定されてもよい。この場合のナビゲーションシステムは、自動運転ＥＣＵ３と一体であってもよい。
【００１７】
自動運転ＥＣＵ３は、走行計画に従い目的地に向かって自動運転を実行する。自動運転ＥＣＵ３は、車両のアクチュエータ（エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータ等）に制御信号を送信することで自動運転を実行する。自動運転ＥＣＵ３は、車両の自動運転において、自動で車両のレーンチェンジを行う車両制御を実行する。自動運転ＥＣＵ３は、レーンチェンジ情報を脇見報知ＥＣＵ１０に送信する。
【００１８】
「レーンチェンジ情報」とは、車両がレーンチェンジを行っているか否かに関する情報である。レーンチェンジ情報は、車両がレーンチェンジを開始するタイミングを示す情報、車両がレーンチェンジを行っている最中であることを示す情報、車両がレーンチェンジを終了するタイミングを示す情報であってもよい。より具体的には、車両がレーンチェンジを開始するタイミングを示すレーンチェンジ情報としては、車両がウインカーの点灯を開始したことを示す情報であってもよい。車両がレーンチェンジを行っている最中であることを示すレーンチェンジ情報としては、車両がウインカーの点灯を行っている最中であることを示す情報であってもよい。車両がレーンチェンジを終了するタイミングを示すレーンチェンジ情報としては、車両がウインカーの点灯を終了したことを示す情報であってもよい。
【００１９】
ＨＭＩ４は、少なくとも脇見報知装置１から乗員への情報の出力を行うためのインターフェイスである。ＨＭＩ４は、例えば、ディスプレイ、スピーカ等の出力部を備えている。ＨＭＩ４は、脇見報知ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力又はスピーカからの音声出力を行う。例えば、ＨＭＩ４は、運転者に対して、警報、注意喚起等の報知を画像又は音声等により行う。
【００２０】
次に、脇見報知ＥＣＵ１０の機能的構成について説明する。脇見報知ＥＣＵ１０は、運転者情報取得部１１、脇見判定部１２、及び報知部１３を有している。
【００２１】
運転者情報取得部１１は、運転者の顔向きを取得する。より具体的には、運転者情報取得部１１は、ドライバモニタカメラ２から受信した運転者の撮像情報に基づいて、公知の画像処理手法により運転者の顔向きを取得する。例えば、運転者情報取得部１１は、ヨー角方向及びピッチ角方向のそれぞれについて、運転者の顔向きの角度情報を取得する。
【００２２】
脇見判定部１２は、運転者情報取得部１１により取得された運転者の顔向きに基づいて、公知の手法により運転者が脇見をしているか否かを判定する。脇見判定部１２は、例えば、運転者情報取得部１１により取得された運転者の顔向きが、運転者の正面方向に対して予め設定された角度以上だけヨー角方向又はピッチ角方向にずれている場合に、運転者が脇見をしていると判定する。脇見判定部１２は、予め設定された時間にわたって、運転者の顔向きが、運転者の正面方向に対して予め設定された角度以上だけヨー角方向又はピッチ角方向にずれている場合に、運転者が脇見をしていると判定してもよい。
【００２３】
報知部１３は、自動運転によるレーンチェンジの実行中において、脇見判定部１２により運転者が脇見をしていると判定された場合に運転者に対して注意喚起を行う。より詳細には、報知部１３は、自動運転ＥＣＵ３から受信するレーンチェンジ情報に基づいて、車両が自動運転によるレーンチェンジの実行中であるか否かを判定する。そして、報知部１３は、車両が自動運転によるレーンチェンジの実行中であると判定された場合において、脇見判定部１２により運転者が脇見をしていると判定されたときに、注意喚起を行う制御信号をＨＭＩ４に出力する。「レーンチェンジの実行中」とは、車両がレーンチェンジを開始するタイミング、車両がレーンチェンジを行っている最中、及び、車両がレーンチェンジを終了するタイミングを意味する。したがって、例えば、車両がレーンチェンジを開始するタイミング（例えば、車両がウインカーの点灯を開始したタイミング）において、当該タイミング以前から脇見判定部１２により運転者が脇見をしていると判定されていた状況においても、報知部１３は運転者に対して注意喚起を行う。
【００２４】
一方、報知部１３は、自動運転によるレーンチェンジの実行中以外において、脇見判定部１２により運転者が脇見をしていると判定された場合に運転者に対して警報を発する。より詳細には、報知部１３は、自動運転ＥＣＵ３から受信するレーンチェンジ情報に基づいて、車両が自動運転によるレーンチェンジの実行中であるか否かを判定する。そして、報知部１３は、車両が自動運転によるレーンチェンジの実行中であると判定されない場合において、脇見判定部１２により運転者が脇見をしていると判定されたときに、警報を発する制御信号をＨＭＩ４に出力する。
【００２５】
警報及び注意喚起の具体的な態様の例を説明する。警報は、注意喚起と比べて強調された態様での報知であってもよい。例えば、警報は、ＨＭＩ４のスピーカから音声出力される警報音又は警報アナウンスであってもよい。警報アナウンスは、「脇見を検出しました。脇見が解消されなければ自動運転を終了します。」とのアナウンスであってもよい。また、警報は、ＨＭＩ４のディスプレイに画像表示される警報メッセージであってもよい。警報メッセージは、「脇見を検出しました。脇見が解消されなければ自動運転を終了します。」とのメッセージであってもよい。これに対して、例えば、注意喚起は、ＨＭＩ４のスピーカから音声出力される注意喚起アナウンスであってもよい。注意喚起アナウンスは、「脇見を検出しましたが、自動運転を継続します。」とのアナウンスであってもよい。また、注意喚起は、ＨＭＩ４のディスプレイに画像表示される注意喚起メッセージであってもよい。注意喚起メッセージは、「脇見を検出しましたが、自動運転を継続します。」とのメッセージであってもよい。
【００２６】
脇見報知装置１は、ＨＭＩ４から警報が運転者に発せられた場合に、脇見判定部１２により当該警報に応じて運転者が予め設定された時間内に脇見を解消したと判定されなければ、自動運転を終了させる制御信号を自動運転ＥＣＵ３に送信して自動運転を終了させる。一方、脇見報知装置１は、ＨＭＩ４から注意喚起が運転者に行われた場合に、脇見判定部１２により当該注意喚起に応じて運転者が脇見を解消したと判定されなくても、自動運転を終了させる制御信号を自動運転ＥＣＵ３に送信せず、自動運転を終了させない。
【００２７】
続いて、脇見報知装置１による脇見報知処理について説明する。図２は、脇見報知処理を示すフローチャートである。図２のフローチャートは、例えば自動運転を実行中の車両が予め設定された速度以上となったときに開始される。
【００２８】
図２に示されるように、ステップＳ１０において、脇見報知装置１は、運転者情報取得部１１により、ドライバモニタカメラ２から受信した運転者の撮像情報に基づいて、公知の手法により運転者の顔向きを取得する。その後、脇見報知装置１は、ステップＳ１２に移行する。
【００２９】
ステップＳ１２において、脇見報知装置１は、脇見判定部１２により、運転者情報取得部１１により取得された運転者の顔向きに基づいて、運転者が脇見をしているか否かを判定する。脇見報知装置１は、運転者が脇見をしていると判定した場合（ステップＳ１２：ＹＥＳ）、ステップＳ１４に移行する。一方、脇見報知装置１は、運転者が脇見をしていると判定しない場合（ステップＳ１２：ＮＯ）、今回の脇見報知処理を終了し、ステップＳ１０から再度脇見報知処理を実行する。
【００３０】
ステップＳ１４において、脇見報知装置１は、報知部１３により、車両が自動運転によるレーンチェンジの実行中であるか否かを判定する。より詳細には、報知部１３は、自動運転ＥＣＵ３から受信するレーンチェンジ情報に基づいて、車両が自動運転によるレーンチェンジの実行中であるか否かを判定する。脇見報知装置１は、車両がレーンチェンジを実行中であると判定した場合（ステップＳ１４：ＹＥＳ）、ステップＳ１６に移行する。一方、脇見報知装置１は、車両がレーンチェンジを実行中であると判定しない場合（ステップＳ１４：ＮＯ）、ステップＳ１８に移行する。
【００３１】
ステップＳ１６において、脇見報知装置１は、報知部１３により、運転者に対して注意喚起を行う。より詳細には、報知部１３は、注意喚起を行う制御信号をＨＭＩ４に出力し、ＨＭＩ４に注意喚起を行わせる。これにより、脇見報知装置１は、今回の脇見報知処理を終了し、ステップＳ１０から再度脇見報知処理を実行する。
【００３２】
ステップＳ１８において、脇見報知装置１は、報知部１３により、運転者に対して警報を発する。より詳細には、報知部１３は、警報を発する制御信号をＨＭＩ４に出力し、ＨＭＩ４に警報を発せさせる。これにより、脇見報知装置１は、今回の脇見報知処理を終了し、ステップＳ１０から再度脇見報知処理を実行する。なお、ＨＭＩ４から警報が運転者に発せられた場合に、脇見判定部１２により当該警報に応じて運転者が予め設定された時間内に脇見を解消したと判定されなければ、自動運転を終了させる制御信号を自動運転ＥＣＵ３に送信して自動運転を終了させる。
【００３３】
以上説明したように、脇見報知装置１によれば、自動運転によるレーンチェンジの実行中において運転者が脇見をしていると判定された場合に、警報ではなく注意喚起を行う。警報とは、運転者が予め設定された時間内に脇見を解消しない場合に自動運転を終了させる報知であり、注意喚起とは、運転者が脇見を解消したと判定されなくても自動運転を終了させない報知である。このため、例えば運転者が、脇見のためではなく、車両のレーンチェンジに備えた車両の周囲の確認のために正面から目を逸らせている場合において、運転者に不要な警報を発することで自動運転の終了を意識させてしまうことを避けることができる。
【００３４】
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００３５】
例えば、運転者情報取得部１１は、運転者の顔向きに代えて、運転者の視線方向を取得してもよい。「視線方向」とは、運転者の視線が向いている方向を意味する。より具体的には、運転者情報取得部１１は、ドライバモニタカメラ２から受信した運転者の撮像情報に基づいて、公知の手法により運転者の視線方向を取得してもよい。また、脇見判定部１２は、運転者情報取得部１１により取得された運転者の視線方向に基づいて、公知の手法により運転者が脇見をしているか否かを判定してもよい。
【００３６】
また、運転者情報取得部１１は、運転者の顔向き及び視線方向の両方を取得してもよい。より具体的には、運転者情報取得部１１は、ドライバモニタカメラ２から受信した運転者の撮像情報に基づいて、公知の手法により運転者の顔向き及び視線方向を取得してもよい。また、脇見判定部１２は、運転者情報取得部１１により取得された運転者の顔向き及び視線方向に基づいて、公知の手法により運転者が脇見をしているか否かを判定してもよい。
【符号の説明】
【００３７】
１…脇見報知装置、１１…運転者情報取得部、１２…脇見判定部、１３…報知部。
【図１】
2020035043.tif 000003
【図２】
2020035043.tif 000004