(57)【特許請求の範囲】
【請求項１】
ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部と、
前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部と、
前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部と、
前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する視認負荷値推定部と、
を有することを特徴とする視認負荷値推定装置。
【請求項２】
前記視認負荷値推定部は、予め決められた重み係数を用いて、前記１つ以上の距離を重み付け加算することを特徴とする請求項１に記載の視認負荷値推定装置。
【請求項３】
前記重み係数は、前記１つ以上の物体の種類ごとに予め決められた値を持つことを特徴とする請求項２に記載の視認負荷値推定装置。
【請求項４】
前記物体検出部は、前記１つ以上の物体として、前記車両の周辺に位置する１つ以上の周辺車両を検出し、
前記重み係数は、前記１つ以上の周辺車両ごとに予め決められた値を持つ
ことを特徴とする請求項２に記載の視認負荷値推定装置。
【請求項５】
前記物体検出部は、前記１つ以上の物体として、前記車両の周辺に位置する人、動物、設置物、及び路上の物体のうちの１つ以上を検出し、
前記重み係数は、前記１つ以上の物体の種類に応じて予め決められた値を持つ
ことを特徴とする請求項２に記載の視認負荷値推定装置。
【請求項６】
前記重み係数は、前記車両と前記１つ以上の物体との間の相対的な位置関係又は相対速度に応じて予め決められた値を持つことを特徴とする請求項２に記載の視認負荷値推定装置。
【請求項７】
前記重み係数は、前記１つ以上の物体の密集度が大きいほど、大きい値に設定されていることを特徴とする請求項２から６のいずれか１項に記載の視認負荷値推定装置。
【請求項８】
前記重み係数は、前記１つ以上の物体の認識率が低いほど、大きい値に設定されていることを特徴とする請求項２から７のいずれか１項に記載の視認負荷値推定装置。
【請求項９】
前記重み係数は、前記１つ以上の物体を囲うバウンディングボックス内のＨＳＶ値の平均値又は輝度の平均値が低いほど、大きい値に設定されていることを特徴とする請求項２から８のいずれか１項に記載の視認負荷値推定装置。
【請求項１０】
前記重み係数は、前記入力映像から取得された前記画像が、逆光の状態の画像である場合、夜間の画像である場合、又は雨天時の画像である場合には、大きい値に設定されていることを特徴とする請求項２から９のいずれか１項に記載の視認負荷値推定装置。
【請求項１１】
前記注視点算出部は、前記入力映像から取得された前記画像から抽出された前記複数の直線の角度と前記車両が走行する道路のレーンの方向とに基づいて、前記注視点の座標の算出に用いる直線を選択することを特徴とする請求項１から１０のいずれか１項に記載の視認負荷値推定装置。
【請求項１２】
前記注視点算出部は、前記入力映像から取得された前記画像における予め決められた範囲内で前記複数の直線を抽出することを特徴とする請求項１から１１のいずれか１項に記載の視認負荷値推定装置。
【請求項１３】
前記１つ以上の交点が１つの交点である場合、前記注視点の座標は前記１つの交点の座標であり、
前記１つ以上の交点が複数の交点である場合、前記注視点の座標は前記複数の交点の中心点の座標である
ことを特徴とする請求項１から１２のいずれか１項に記載の視認負荷値推定装置。
【請求項１４】
前記入力映像として、前記車両の周辺を撮影する複数の撮像装置から複数の映像を受信し、
前記複数の映像についての複数の前記視認負荷値を算出し、
前記複数の撮像装置に予め割り当てられた視認分配率を用いた重み付け加算によって前記複数の視認負荷値から、統合された視認負荷値を算出する
ことを特徴とする請求項１から１３のいずれか１項に記載の視認負荷値推定装置。
【請求項１５】
前記複数の撮像装置は、前記車両の前方を撮影する第１の撮像装置と、前記車両の後方を撮影する第２の撮像装置とを含むことを特徴とする請求項１４に記載の視認負荷値推定装置。
【請求項１６】
請求項１から１５のいずれか１項に記載の視認負荷値推定装置と、
前記車両の周辺を撮影して前記入力映像を出力する撮像装置と、
を有することを特徴する視認負荷値推定システム。
【請求項１７】
コンピュータによって実行される視認負荷値推定方法であって、
ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得するステップと、
前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出するステップと、
前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出するステップと、
前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力するステップと、
を有することを特徴とする視認負荷値推定方法。
【請求項１８】
ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する処理と、
前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する処理と、
前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する処理と、
前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する処理と、
をコンピュータに実行させる視認負荷値推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラムに関する。
【背景技術】
【０００２】
車両の運転時におけるドライバの視認負荷の程度を示す視認負荷量を推定する装置が提案されている。例えば、特許文献１を参照。この装置は、車両の前方の画像に基づいて生理的注視位置（すなわち、ドライバが注視してしまう位置）を推定すると共に、車速、進行方向などの車両情報に基づいて運転時においてドライバが視認すべき位置を推定し、これらの位置の差異が大きい場合に視認負荷量が大きいと推定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５４８２７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の装置は、ドライバが注視してしまう位置を推定する過程であるボトムアップ過程とドライバが視認すべき位置を推定する過程であるトップダウン過程とのそれぞれにおいて、位置を推定するための複雑な演算を実行しているので、リアルタイムな演算量（すなわち、装置における処理負荷）が大きいという課題がある。【０００５】
本開示は、車両のドライバの視認負荷値を小さい演算量で推定することを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る視認負荷値推定装置は、ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部と、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部と、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部と、前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力する視認負荷値推定部と、を有することを特徴とする。
【０００７】
本開示の他の態様に係る視認負荷値推定方法は、コンピュータによって実行される方法であって、ドライバが運転する車両の前方又は後方を含む領域である前記車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得するステップと、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出するステップと、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出するステップと、前記注視点と前記１つ以上の物体との間の１つ以上の距離を前記ドライバの注意力の分散の程度を示す値として算出し、前記１つ以上の距離を加算又は重み付け加算して得られた合計値に基づく値を前記車両のドライバの視認負荷の大小を表す視認負荷値として出力するステップと、を有することを特徴とする。
【発明の効果】
【０００８】
本開示によれば、車両のドライバの視認負荷値を小さい演算量で推定することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る視認負荷値推定装置の構成を示す機能ブロック図である。
【図２】実施の形態１に係る視認負荷値推定装置のハードウェア構成を示す図である。
【図３】実施の形態１に係る視認負荷値推定装置の動作を示す図である。
【図４】図３の一部を拡大して示す図である。
【図５】実施の形態１に係る視認負荷値推定装置の動作を示す図である。
【図６】逆光時の画像の例を示す図である。
【図７】夜間の画像の例を示す図である。
【図８】実施の形態１に係る視認負荷値推定装置の動作を示すフローチャートである。
【図９】実施の形態１における注視点の座標の算出動作を詳細に示すフローチャートである。
【図１０】実施の形態２に係る視認負荷値推定装置の構成を示す機能ブロック図である。
【図１１】実施の形態２に係る視認負荷値推定装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、実施の形態に係る視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
【００１１】
実施の形態に係る視認負荷値推定装置は、車両のドライバに対して適切な注意喚起及び適切な運転支援などを行うために用いられる視認負荷値を推定する。視認負荷値は、人が物体を視認する際の視認性の難易度（すなわち、視覚的な認識のし難さの程度）を示す指標である。視認負荷値は、物体を視認し難いほど大きい値になり、物体を視認し易いほど小さい値になる。
【００１２】
また、車両の運転時における物体の視認によってドライバが受ける負荷（すなわち、視認負荷）の程度は物体の視認性の難易度に対応しているので、視認負荷値は視認負荷の程度に対応している。つまり、視認負荷値は、視認負荷の程度が大きいほど大きい値になり、視認負荷の程度が小さいほど小さい値になる。視認負荷値の大小は、ドライバが運転中に同時に見える周辺物体の数、周辺物体の大きさ、周辺物体の位置関係、周辺物体の色合いなど様々な視認性要因又は認知特性要因又はこれらの両方の要因によって刻々と変化するものと考えられる。
【００１３】
実施の形態に係る視認負荷値推定装置は、例えば、ドライバが運転している車両の周辺（例えば、前方、後方など）を撮影することで得られた入力映像の１フレーム分の画像の解析によって、視認負荷値を推定（すなわち、算出）する。入力映像は、例えば、車両の前方を撮影するドライブレコーダ用の撮像装置（すなわち、カメラ）、車両の後方を撮影するドライブレコーダ用の撮像装置、及び車両の後方を撮影する側方電子ミラー用の撮像装置、などによって得られる。なお、実施の形態に係る視認負荷値推定装置は、ドライバの状態（例えば、ドライバの視線の方向など）を取得するためにドライバを撮影する車室内カメラ、ドライバの生体情報（例えば、ドライバの血圧、体温、など）を取得するための生体センサ、などを必要としない。ただし、実施の形態に係る視認負荷値推定装置は、視認負荷値の算出に際し、ドライバの状態又はドライバの生体情報を考慮してもよい。
【００１４】
一般に、車両を運転しているドライバは、車両の前方に見える道路のレーンに沿った直線の延長線が交わる点の位置を注視しようとする。道路のレーンに沿った直線は、例えば、各レーンの両側に描かれた白線である。しかし、ドライバは、自身が運転している車両の周辺において移動する物体である周辺物体が存在すると、視線を周辺物体に向ける。周辺物体の代表例は、自身の車両の周辺にある他の車両である。他の車両は、「周辺車両」とも呼ばれる。このとき、ドライバの注意は、注視点と周辺車両とに交互に向けられる。つまり、ドライバの注意力は分散し、注視点に対する注意力が低下する傾向がある。ドライバの注意力の分散の程度は、注視点の位置と周辺車両との間の距離が大きいほど、つまり、周辺車両を視認し難いほど、大きい。つまり、ドライバの注意力の分散の程度は、ドライバの視認負荷値が大きいほど、大きい。
【００１５】
そこで、実施の形態に係る視認負荷値推定装置は、ドライバの視認負荷値を算出し、視認負荷値を警報装置及び運転支援装置に対して提供する。警報装置は、ドライバに対して、視認負荷値の程度（大小の絶対値）又は変化率（単位時間当たりの程度変化）又はこれらの両方などに基づき、柔軟に選択切り替え可能な内容の注意喚起を行うことができる。運転支援装置は、ドライバに対して、視認負荷値の程度又は変化率又はこれらの両方などに基づき、柔軟に選択切り替え可能な内容の運転支援を行うことができる。
【００１６】
実施の形態１．
図１は、実施の形態１に係る視認負荷値推定装置１００の構成を示す機能ブロック図である。視認負荷値推定装置１００は、実施の形態１に係る視認負荷値推定方法を実施することができる装置である。視認負荷値推定装置１００は、撮像装置２００によって撮影された映像に基づいて視認負荷値Ｖを推定する。推定された視認負荷値Ｖは、警報装置４００、運転支援装置３００、などに提供される。
【００１７】
図１に示されるように、視認負荷値推定装置１００は、画像取得部１０１と、注視点算出部１０２と、物体検出部１０３と、視認負荷値推定部１０４とを有している。視認負荷値推定システム５００は、撮像装置２００と、視認負荷値推定装置１００とを有している。また、視認負荷値推定システム５００は、警報装置４００、又は運転支援装置３００、又はこれらの両方を有してもよい。
【００１８】
画像取得部１０１は、ドライバが運転している自身の車両の周辺を撮影することで得られた映像（すなわち、入力映像）から１フレーム分の画像を順次取得する。入力映像は、車両に搭載された撮像装置２００から出力された動画である。撮像装置２００の台数は、１台に限定されず、２台以上であってもよい。撮像装置２００は、ドライバが運転している車両の前方を撮影するカメラを含む。撮像装置２００は、車両の後方を撮影するカメラを含んでもよい。
【００１９】
注視点算出部１０２は、画像取得部１０１によって取得された各フレームの画像から複数の直線を抽出し、複数の直線を延長し、延長された複数の直線の１つ以上の交点（すなわち、交差位置）に基づく点である注視点の座標を算出する。複数の直線は、例えば、車両の前方に見える道路のレーンに沿った直線（例えば、白線）である。注視点が車両の前方の遠い位置にある場合には、注視点は、道路のレーンに沿って描かれた白線が遠方で見えなくなる位置、すなわち、白線が消失するように見える位置にある。このため、注視点は「消失点」とも呼ばれる。
【００２０】
注視点算出部１０２は、複数の直線として、例えば、道路のレーンに沿う方向に対して、予め決められた角度範囲内の直線を抽出する。注視点算出部１０２は、抽出された複数の直線が、画面の右側と左側から中心方向に向かっている２本の直線である場合には、２本の直線を延長し、延長された２本の直線の交点を注視点の座標とする。注視点算出部１０２は、抽出された複数の直線が、画面の右側と左側から中心方向に向かっている３本以上の直線である場合には、これらの直線を延長し、延長された直線の複数の交点に基づく点を注視点の座標とする。複数の交点に基づく点は、例えば、複数の交点の中心点である。言い換えれば、注視点算出部１０２によって算出される１つ以上の交点が１つの交点である場合、注視点の座標は１つの交点の座標であり、１つ以上の交点が複数の交点である場合、注視点の座標は複数の交点の中心点の座標である。
【００２１】
注視点算出部１０２は、画像取得部１０１によって取得された画像の予め決められた範囲外から直線を抽出せず、予め決められた範囲内から複数の直線を抽出してもよい。予め決められた範囲は、例えば、１フレーム分の画像の下側の予め決められた割合の範囲である。予め決められた範囲は、例えば、１フレーム分の画像の下側の５０％の範囲、すなわち、１フレーム分の画像の下側の半分の範囲である。このように、予め決められた範囲を設定することによって、遠方に映る山と空との直線状の境界線を直線として検出しないことができる。なお、予め決められた割合は、５０％に限定されない。また、予め決められた範囲は、１フレーム分の画像の下端から１０％〜５０％の範囲のように画像の下端を含まない範囲であってもよい。これは、１フレームの画像の下端に、自身の車両の車体の先端部分が映っている場合があるからである。なお、予め決められた範囲は、長方形領域に限定するものではなく、検出対象から除外したいものの都合に合わせて、画面下側の五角形領域などの多角形などであってもよい。
【００２２】
物体検出部１０３は、画像取得部１０１によって取得された画像から１つ以上の物体を検出し、検出された１つ以上の物体の座標を算出する。物体検出部１０３は、例えば、検出される物体として、自身の車両の周辺に存在する移動する物体である周辺物体を検出する。検出される物体は、例えば、周辺車両である。物体検出部１０３は、検出された１つ以上の周辺車両の座標を算出する。物体検出部１０３が使用する物体検出アルゴリズムとしては、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ  Ｌｏｏｋ  Ｏｎｃｅ）アルゴリズム、機械学習を用いた物体検出のアルゴリズムであるＳｉｎｇｌｅ  Ｓｈｏｔ  Ｍｕｌｔｉｂｏｘ  Ｄｅｔｅｃｔｏｒ（ＳＳＤ）アルゴリズム、などを用いることができる。
【００２３】
視認負荷値推定部１０４は、注視点算出部１０２によって座標が算出された注視点と物体検出部１０３によって検出された１つ以上の物体との間の１つ以上の距離を算出し、算出された１つ以上の距離に基づく値を自身の車両のドライバの視認負荷値Ｖとして出力する。注視点と物体との間の距離は、注視点と物体とを結ぶ線分の長さであるから「線分距離」とも呼ばれる。例えば、視認負荷値推定部１０４は、注視点と１つ以上の周辺車両との間の１つ以上の距離を算出し、算出された１つ以上の距離に基づく値を自身の車両のドライバの視認負荷値Ｖとして出力する。視認負荷値推定部１０４は、算出された１つ以上の距離に重み係数を乗算することで得られた重み付き距離の合計値（すなわち、視認距離値）を計算し、全ての周辺物体についての重み付き距離の合計値である最終的な視認距離値を正規化することによって視認負荷値Ｖを算出する。視認負荷値Ｖは、例えば、視認距離値を正規化して得られた、０から１．０までの範囲内の値として出力される。
【００２４】
視認負荷値推定部１０４は、１つ以上の距離を重み付け加算して視認距離値を算出する場合には、予め決められた重み係数を用いることができる。重み係数は、後述の図２に示される記憶デバイス１１２又は外部の記憶装置から取得される。
【００２５】
重み係数は、例えば、周辺物体の種類ごとに決められている。周辺物体として周辺車両を検出する場合には、大型車（例えば、トラック、トレーラ、など）、普通乗用車（例えば、自家用車、営業車など）、二輪車（例えば、バイク、自転車、など）などの車両の種類に応じて重み係数が設定されている。大型車、普通乗用車、及び二輪車の重み係数は、周辺車両の大きさに応じた値、例えば、３、２、及び１のように設定される。
【００２６】
また、車両以外の周辺物体として、人（例えば、歩行者、子供、など）、動物、設置物（例えば、信号機、道路標識、看板、など）、路上の物体（例えば、車両から脱落したタイヤ、車両から落下した木材のような荷物、など）、が検出されてもよい。また、これらの周辺物体に対して、種類、大きさ、などに応じて重み係数が設定されてもよい。例えば、周辺物体が大きいほど、重み係数が大きく設定される。
【００２７】
また、重み係数は、自身の車両と周辺物体との間の相対的な位置関係又は相対速度に応じて決められてもよい。つまり、重み係数は、自身の車両と周辺物体との間の相対的な位置関係又は相対速度に応じて修正されてもよい。例えば、周辺物体が、自身の車両に、後ろから車間距離が徐々に短くなるように近づいてきている周辺車両である場合には、この周辺車両の重み係数として、前方を走行する車両の重み係数よりも大きな値が設定されてもよい。或いは、自身の車両と並んで同じ速度で走行する周辺車両がある場合、この周辺車両の重み係数として、前方を走行する車両の重み係数よりも大きな値が設定されてもよい。
【００２８】
また、重み係数は、複数の周辺車両の密集度に応じて決められてもよい。つまり、重み係数は、複数の周辺車両の密集度に応じて修正されてもよい。例えば、複数の周辺車両が、右前方（例えば、追い越し車線）に密集している場合（すなわち、渋滞している場合）には、これらの車両の重み係数として、密集していない場合における重み係数よりも、大きい値が設定されてもよい。また、複数の周辺車両が、前方（例えば、料金所の手前）で密集している場合には、これらの車両の重み係数として、密集していない場合における重み係数よりも、大きい値が設定されてもよい。
【００２９】
また、重み係数は、複数の周辺物体の認識率［％］（すなわち、認識精度）に応じて決められてもよい。つまり、重み係数は、複数の周辺車両の密集度に応じて修正されてもよい。例えば、認識率が低い位置である遠くにある周辺車両の重み係数は、認識率が高い位置である近くにある周辺車両の重み係数よりも大きい値に設定されてもよい。また、画像内で小さい（つまり、認識率が低い）周辺車両の重み係数は、画像内で大きい（つまり、認識率が高い）周辺車両の重み係数よりも大きい値に設定されてもよい。なお、大きさは、バウンディングボックスの面積で計算されてもよい。また、周辺車両を囲うバウンディングボックス内の輝度が低い周辺車両の重み係数を、バウンディングボックス内の輝度が高い周辺車両の重み係数よりも大きい値に設定してもよい。
【００３０】
また、重み係数は、周辺物体を囲うバウンディングボックス内の色空間情報に基づいて設定されてもよい。つまり、重み係数は、周辺物体を囲うバウンディングボックス内の色空間情報に基づいて修正されてもよい。例えば、バウンディングボックス内のＨＳＶ値（色相、彩度、明度の３成分からなる。）の平均値、バウンディングボックス内の輝度の平均値などに基づいて、重み係数が設定されてもよい。例えば、入力映像から取得された画像が、逆光の状態の画像である場合、夜間の画像である場合、又は雨天時の画像である場合は、周辺物体の色味が暗くなって、視認し難いので、重み係数が大きく設定されてもよい。
【００３１】
警報装置４００は、ドライバに対して、視認負荷値Ｖに基づく内容の注意喚起を行う。警報装置４００は、例えば、視認負荷値Ｖが予め決められた第１の閾値を超えたときに、警告音、音声メッセージ、ランプの点灯、警告表示、振動、などのうちの１つ又は２つ以上の組み合わせによって、ドライバに対して注意喚起を行う。なお、警報装置４００は、視認負荷値Ｖを複数の閾値と比較し、この比較の結果に対応する注意喚起を行ってもよい。
【００３２】
運転支援装置３００は、ドライバに対して、視認負荷値Ｖに基づく運転支援を行う。運転支援装置３００は、例えば、視認負荷値Ｖが予め決められた第２の閾値を超えたときに、予め決められた処理を実行する。例えば、運転支援装置３００は、視認負荷値Ｖが第２の閾値を超えたときに、運転モードを手動運転モードから自動運転モードに切り替える。具体的に言えば、運転支援装置３００は、前方に多数の周辺車両が存在して視認負荷値Ｖが第２の閾値を超えたときに、ドライバの視認負荷が高い状況が生じていると判断して、前方の周辺車両との距離を一定に維持しながら自身の車両を自動走行させる自動運転モードに切り替える。なお、運転支援装置３００は、視認負荷値Ｖを複数の閾値と比較し、この比較の結果に対応する運転支援を行ってもよい。
【００３３】
図２は、実施の形態１に係る視認負荷値推定装置１００のハードウェア構成を示す図である。図２に示されるように、視認負荷値推定装置１００は、情報処理を行うプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１０と、半導体メモリなどの記憶部としての主メモリ１１１と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの記憶デバイス１１２と、入力インタフェース（Ｉ／Ｆ）デバイス１１３と、出力Ｉ／Ｆデバイス１１４と、画像処理デバイス１１５と、これらを繋ぐ内部バス１１６とを有している。視認負荷値推定装置１００は、例えば、コンピュータである。視認負荷値推定装置１００は、自動車を制御する電子制御ユニットの一部であってもよい。主メモリ１１１は、実施の形態１に係るソフトウェアである視認負荷値推定プログラム１１７を記憶している。視認負荷値推定プログラム１１７は、ネットワークを経由したダウンロードによって又は情報を記録するコンピュータ読み取り可能な記録媒体からインストールされる。ＣＰＵ１１０は、視認負荷値推定プログラム１１７を実行することによって、図１に示される画像取得部１０１、注視点算出部１０２、物体検出部１０３、及び視認負荷値推定部１０４の各機能の全体又は一部を実現することができる。また、画像処理デバイス１１５は、ＣＰＵ１１０の一部であってもよい。
【００３４】
図３は、実施の形態１に係る視認負荷値推定装置１００の動作を示す図である。図３は、ドライバが運転している自身の車両の前方の道路１５のレーンの両端に道路１５のレーンに沿う白線（又は、他の色の線若しくは段差など）１６、１７が存在し、注視点算出部１０２が、白線１６、１７の一部である直線部分１１、１２を延長し、延長した直線部分の交点を注視点１０とする例を示している。また、図３の例では、視認負荷値推定装置１００は、１フレーム分の画像から直線を検出する際に、画像の下側の半分の範囲１４から直線を抽出している。このため、前方の山の輪郭線は、直線として抽出されない。
【００３５】
図４は、図３の一部である範囲１３を拡大して示す図である。図４は、自身の車両の前方に他の車両である周辺車両２１、２２が存在し、物体検出部１０３が物体としての周辺車両２１、２２を検出し、視認負荷値推定部１０４が、注視点１０と周辺車両２１との間の距離３１と、注視点１０と周辺車両２２との間の距離３２とを検出することを示している。図３及び図４の示される状況では、距離３１、３２は短いので、視認負荷値Ｖは比較的小さい。
【００３６】
図５は、実施の形態１に係る視認負荷値推定装置１００の動作を示す図である。図５は、自身の車両の前方に他の車両である複数の周辺車両４１〜４８が存在し、物体検出部１０３が物体として周辺車両４１〜４８を検出し、視認負荷値推定部１０４が、注視点１０と周辺車両４１〜４８との間の距離５１〜５８を検出することを示す説明図である。例えば、視認負荷値推定部１０４は、注視点１０と周辺車両４１〜４８との間の距離５１〜５８を算出し、算出された距離５１〜５８に基づいて算出された値を自身の車両のドライバの視認負荷値Ｖとして出力する。視認負荷値推定部１０４は、１つ以上の距離の合計値である視認距離値に対応する値として、複数の距離５１〜５８の視認距離値を正規化して、０から１．０までの範囲内の値として出力する。直感的にも分かる通り、本例の視認負荷値Ｖは、前記の図４で述べた視認負荷値Ｖよりも相対的に大きい。
【００３７】
図６は、逆光時の画像の例を示す図である。図６に示される逆光時の画像には、周辺車両６１〜６４が存在している。図６に示される逆光時の画像では、周辺車両６１〜６４を囲うバウンディングボックス内の輝度が低く、周辺車両６１〜６４は黒ずんで見える。この場合には、周辺車両６１〜６４に関する重み係数として、逆光時ではない場合の重み係数より高い値を用いてもよい。
【００３８】
図７は、夜間の画像の例を示す図である。図７に示される夜間の画像には、周辺車両７１〜７４が存在している。図７に示される夜間の画像では、周辺車両７１〜７４を囲うバウンディングボックス内の輝度がその周囲の輝度よりも高く、ヘッドライトの反射等から周辺車両７１〜７４は明るく光って見える。この場合には、周辺車両７１〜７４に関する重み係数として、夜間ではない場合の重み係数より高い値を用いてもよい。
【００３９】
図８は、実施の形態１に係る視認負荷値推定装置１００の動作を示すフローチャートである。先ず、画像取得部１０１は、入力映像から１フレーム分の画像を取得する（ステップＳ１００）。次に、注視点算出部１０２は、ドライバの注視点１０の座標を算出する（ステップＳ１０１）。注視点１０の算出方法の詳細は、後述の図９に示される。
【００４０】
次に、物体検出部１０３は、１フレーム分の画像における自身の車両の周辺に存在する移動する周辺物体である周辺車両の検出を行う（ステップＳ１０２）。次に、物体検出部１０３は、周辺車両が検出されたか否かを判断する（ステップＳ１０３）。
【００４１】
周辺車両が検出された場合（ステップＳ１０３の判断がＹＥＳの場合）、視認負荷値推定部１０４は、検出された周辺車両の位置を示す座標である中心座標を取得する（ステップＳ１０４）。なお、周辺車両の位置を示す座標は、周辺車両の中心座標以外の座標であってもよい。
【００４２】
次に、視認負荷値推定部１０４は、注視点１０の座標と、検出された周辺車両の位置を示す中心座標との間の距離を算出する（ステップＳ１０５）。
【００４３】
次に、視認負荷値推定部１０４は、検出された周辺車両の重み係数を取得する（ステップＳ１０６）。周辺車両の重み係数は、例えば、車両の種類に応じた値である。例えば、サイズの大きい車体を有するトラックの重み係数は、大きい値であり、比較的小さいサイズの車体を有する普通乗用車の重み係数は、小さい値である。
【００４４】
次に、視認負荷値推定部１０４は、算出された距離に重み係数を乗算することで、重み付き距離を算出する（ステップＳ１０７）。次に、視認負荷値推定部１０４は、重み付き距離の合計値である視認距離値を算出し（ステップＳ１０８）、処理をステップＳ１０２に戻す。ステップＳ１０２〜Ｓ１０８の処理は、ステップＳ１０３において未処理の周辺車両が検出されないと判断されるまで繰り返される。
【００４５】
周辺車両が検出されない場合（ステップＳ１０３の判断がＮＯの場合）、視認負荷値推定部１０４は、重み付き距離の合計値である視認距離値を正規化して得られた０から１．０までの範囲内の値である視認負荷値Ｖを出力する（ステップＳ１０９）。次のステップＳ１１０において、視認負荷値推定装置１００は、次のフレームがある場合に、処理をステップＳ１００に戻し、次のフレームがない場合には、処理を終了する。
【００４６】
図９は、実施の形態１における注視点の座標の算出動作（すなわち、図８のステップＳ１０１）を詳細に示すフローチャートである。先ず、注視点算出部１０２は、画像取得部１０１で取得した１フレーム分の画像をグレースケール変換し（ステップＳ２００）、その後、２値化変換する（ステップＳ２０１）。２値化変換には、例えば、エッジ検出のための公知のアルゴリズムであるＣａｎｎｙ法が用いられる。
【００４７】
次に、注視点算出部１０２は、２値化変換された画像内における下側の半分の範囲（例えば、図３における範囲１３に対応する。）の多角形領域を検出し、この多角形領域以外の領域を黒色でマスク化する（ステップＳ２０２）。
【００４８】
次に、注視点算出部１０２は、２値化変換された画像内における下側の半分の範囲において直線を検出する（ステップＳ２０３）。直線の検出には、例えば、直線を検出する公知のアルゴリズムであるＨｏｕｇｈ変換が用いられる。
【００４９】
次に、注視点算出部１０２は、検出された直線の角度に基づいて、道路のレーンを区分する白線（すなわち、道路のレーンに沿う白線）の候補以外の直線を除外する（ステップＳ２０４）。次に、注視点算出部１０２は、複数の直線を延長し、延長した複数の直線の交点の座標を算出する（ステップＳ２０５）。
【００５０】
次に、注視点算出部１０２は、１つの交点が検出されたときには、その交点を注視点とし、複数の交点が検出されたときには、複数の交点の中心点を注視点とし、注視点の座標を算出する（ステップＳ２０６）。
【００５１】
実施の形態１によれば、車両のドライバの視認負荷値Ｖを小さい演算量で推定することができる。また、警報装置４００は、ドライバに対する適切な注意喚起を行うことができる。また、運転支援装置３００は、ドライバに対する適切な運転支援を行うことができる。すなわち、視認負荷値Ｖは、警報装置又は運転支援装置が適切な時だけ適切な内容のＨＭＩ（Ｈｕｍａｎ−Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ）出力をするための判断材料の一つを与えることができ、例えば、別途ドライバ監視装置から得られる集中度の判定結果の値との両方を加味する（掛け合わせる）ことで、ドライバへの情報多寡を抑止し、ユーザの受容性を高めることができる。
【００５２】
また、特許文献１に記載の装置では、相応の精度の視認負荷量を推定するために、車外カメラからの映像情報に加えて、自車両のセンサ等から得る様々な車両情報を入力とすることから、実用化の成立要件（推定処理に必要なデータ種別）がより多く、装置（機能）コストがより高くなると考えられる。これに対し、実施の形態１の装置によれば、車外カメラからの映像情報だけで、相応の精度の視認負荷値の推定ができるので、装置コストの削減の効果が得られる。
【００５３】
実施の形態２．
実施の形態１では、視認負荷値推定装置１００が１つの視認負荷値推定部１０４を備えた例を説明した。これに対し、実施の形態２では、視認負荷値推定装置１００ａが複数の視認負荷値推定部を備えた例を説明する。
【００５４】
図１０は、実施の形態２に係る視認負荷値推定装置１００ａの構成を示す機能ブロック図である。視認負荷値推定装置１００ａは、実施の形態２に係る視認負荷値推定方法を実施することができる装置である。視認負荷値推定装置１００ａは、第１から第３の撮像装置２００ａ、２００ｂ、２００ｃによって撮影された映像に基づいて第１から第３の視認負荷値Ｖ１〜Ｖ３を算出し、これらに基づいて統合された視認負荷値Ｖ０を算出する。統合された視認負荷値Ｖ０は、警報装置４００、運転支援装置３００、などに提供される。
【００５５】
第１の撮像装置２００ａは、ドライバが運転している車両の前方を撮影するカメラである。第１の撮像装置２００ａは、例えば、車両の前方を撮影するドライブレコーダ用のカメラである。第２の撮像装置２００ｂは、ドライバが運転している車両の後方を撮影するカメラである。第２の撮像装置２００ｂは、例えば、後方を撮影するドライブレコーダ用のカメラである。第３の撮像装置２００ｃは、例えば、ドライバが運転している車両の後方を撮影する側方電子ミラー用のカメラである。
【００５６】
視認負荷値推定装置１００ａは、図１に示される画像取得部１０１、注視点算出部１０２、及び物体検出部１０３と同様の構成を有している。さらに、図１０に示されるように、視認負荷値推定装置１００ａは、第１から第３の視認負荷値推定部１０４ａ、１０４ｂ、１０４ｃと、視認負荷値統合部１０４ｄとを有している。視認負荷値推定装置１００ａのハードウェア構成は、図２に示される視認負荷値推定装置１００のハードウェア構成と同様である。
【００５７】
第１の視認負荷値推定部１０４ａは、第１の撮像装置２００ａによって撮影された第１の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第１の視認負荷値Ｖ１を算出する。第２の視認負荷値推定部１０４ｂは、第２の撮像装置２００ｂによって撮影された第２の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第２の視認負荷値Ｖ２を算出する。第３の視認負荷値推定部１０４ｃは、第３の撮像装置２００ｃによって撮影された第３の映像に基づいて、図１に示される視認負荷値推定部１０４と同様の処理を行い、第３の視認負荷値Ｖ３を算出する。
【００５８】
視認負荷値統合部１０４ｄは、予め視認分配率ｋ１、ｋ２、ｋ３を記憶しており、視認分配率ｋ１、ｋ２、ｋ３を用いて統合された視認負荷値Ｖ０を算出する。例えば、第１の映像用の視認分配率ｋ１は８０％であり、第２の映像用の視認分配率ｋ２は１０％であり、第３の映像用の視認分配率ｋ３は１０％である。この場合、統合された視認負荷値Ｖ０は、例えば、以下の式によって計算される。
Ｖ０＝（ｋ１×Ｖ１）＋（ｋ２×Ｖ２）＋（ｋ３×Ｖ３）
＝０．８Ｖ１＋０．１Ｖ２＋０．１Ｖ３
【００５９】
図１１は、実施の形態２に係る視認負荷値推定装置１００ａの動作を示すフローチャートである。視認負荷値推定装置１００ａは、第１の撮像装置２００ａによって撮影された第１の映像から１フレーム分の画像を読み込み（ステップＳ１００ａ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第１の視認負荷値Ｖ１を算出する（ステップＳ１０９ａ）。
【００６０】
また、視認負荷値推定装置１００ａは、第２の撮像装置２００ｂによって撮影された第２の映像から１フレーム分の画像を読み込み（ステップＳ１００ｂ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第２の視認負荷値Ｖ２を算出する（ステップＳ１０９ｂ）。
【００６１】
また、視認負荷値推定装置１００ａは、第３の撮像装置２００ｃによって撮影された第３の映像から１フレーム分の画像を読み込み（ステップＳ１００ｃ）、注視点の座標を算出し、周辺車両の座標を算出し、注視点と周辺車両との間の距離を算出し、重み係数を用いて重み付き距離を算出し、重み付き距離を合算して視認距離値を算出し（図１に示されるステップＳ１０１〜Ｓ１０８に対応）、その後、視認距離値を正規化して第２の視認負荷値Ｖ３を算出する（ステップＳ１０９ｃ）。
【００６２】
次に、視認負荷値推定装置１００ａは、第１から第３の視認距離値Ｖ１、Ｖ２、Ｖ３と視認分配率ｋ１、ｋ２、ｋ３とから、統合された視認負荷値Ｖ０を算出する（ステップＳ１１１）。次のステップＳ１１０ａにおいて、視認負荷値推定装置１００ａは、次のフレームがある場合に、処理をステップＳ１００ａ、Ｓ１００ｂ、Ｓ１００ｃに戻し、次のフレームがない場合には、処理を終了する。
【００６３】
実施の形態２によれば、車両のドライバの視認負荷値Ｖを小さい演算量で推定することができる。また、第１から第３の撮像装置で撮影された第１から第３の映像に基づいて、より適正な視認負荷値Ｖを算出することができる。よって、警報装置４００は、ドライバに対するより適切な注意喚起を行うことができる。また、運転支援装置３００は、ドライバに対するより適切な運転支援を行うことができる。
【符号の説明】
【００６４】
１００、１００ａ  視認負荷値推定装置、  １０１  画像取得部、  １０２  注視点算出部、  １０３  物体検出部、  １０４  視認負荷値推定部、  １０４ａ  第１の視認負荷値推定部、  １０４ｂ  第２の視認負荷値推定部、  １０４ｃ  第３の視認負荷値推定部、  １０４ｄ  視認負荷値統合部、  ２００  撮像装置、  ２００ａ  第１の撮像装置、  ２００ｂ  第２の撮像装置、  ２００ｃ  第３の撮像装置、  ３００  運転支援装置、  ４００  警報装置、  ５００  視認負荷値推定システム。
【要約】
視認負荷値推定装置（１００）は、車両の周辺を撮影することで得られた入力映像から１フレーム分の画像を取得する画像取得部（１０１）と、前記画像から複数の直線を抽出し、前記複数の直線を延長し、延長された前記複数の直線の１つ以上の交点に基づく点である注視点の座標を算出する注視点算出部（１０２）と、前記画像から１つ以上の物体を検出し、前記１つ以上の物体の座標を算出する物体検出部（１０３）と、前記注視点と前記１つ以上の物体との間の１つ以上の距離を算出し、前記１つ以上の距離に基づく値を車両のドライバの視認負荷値として出力する視認負荷値推定部（１０４）とを有する。視認負荷値推定システム（５００）は、視認負荷値推定装置（１００）と撮像装置（２００）とを有する。【図１】
0006877651.tif 000002
【図２】
0006877651.tif 000003
【図３】
0006877651.tif 000004
【図４】
0006877651.tif 000005
【図５】
0006877651.tif 000006
【図６】
0006877651.tif 000007
【図７】
0006877651.tif 000008
【図８】
0006877651.tif 000009
【図９】
0006877651.tif 000010
【図１０】
0006877651.tif 000011
【図１１】
0006877651.tif 000012