技術論文

自動運転レベル2向けドライバーモニターシステムの開発
服部哲也

Tetsuya Hattori

桑山高史

Takashi Kuwayama

概 要
近年わき見や居眠りなどのヒューマンエラーによる事故防止や,自動運転車の必須機能として,ドライバーのモニタリングがますます重要視されている.今回,視線算出に角膜反射法と人工知能を用いることでわき見検出精度が向上したドラ
イバーモニターシステムを開発した.また,Amazon Web Servicesを用いた評価効率化の取り組みも紹介する.

1.

はじめに

近年,日本の交通事故による死者数は減少傾向にあるが,警察庁がまとめた「交通事故死者数遷移」1)によると,年間1158人で依然憂慮すべき状況である（図1）.
「死亡事故の人的要因比較」1)をみると,75歳未満の運転者の場合,安全不確認が31.2%,内在的前方不注意（漫然運転等）が25.4%,外在的前方不注意（わき見等）が14.1%である（図2）.これらを合わせると70.7%を占めており,世間的にもその対応を望まれている.
ドライバーモニターシステムはドライバーがわき見や居眠り,漫然運転をしていないかを監視するシステムであり,今回,視線算出に角膜反射法と人工知能を用いることでわき見判定精度を向上させることができたので,その方法について本稿で紹介する.
また,製品化の過程において,開発サイクル短縮のた

図1

交通事故死者数遷移

めにAmazon Web Services, Inc.の提供するクラウドサービスであるAmazon Web Services（以降AWS）を使用した評価環境を構築した.その取り組みも合わせて紹介する.

図2

2.

死亡事故の人的要因比較

ドライバーモニターシステムについて

当社では2006年からドライバーの顔向きを検知するドライバーモニターシステムを製品化し,2008年には25

AISIN TECHNICAL REVIEW VOL.27 2023

算される.

技術論文

自自自自自自自自自自自自自自自自自自自自自自自自自自開閉眼検出の機能追加を実施している2).それから現在までに様々な改良を加え,顔の向きや開閉眼の推定精度向上,視線算出,ドライバー異常検知の機能を追加(a) カメラで画像を撮影する.

し,2021年に製品化した.

(b) 画像から顔領域を検出する.

現在の製品は,自動運転レベル2向けのドライバー監(c) 装着物判定する（裸顔,マスク,サングラス）.

視に用いられている.自動運転レ ベル2 とは,ドライ(d）顔領域から目・鼻・口などの顔部品を検出する.

バーによる監視前提で,特定条件下での自動運転を行(e) 検出した顔部品と,あらかじめ学習した3次元顔モうものである（図3）.

デルをフィッティングさせる.

3)(f）フィッティングした3次元顔モデルを用いて,顔の位置と向きを推定する.
(g) 検出した目位置を手がかりに,目の領域を切り出す.
(h) 切り出した画像を用いて,人工知能で瞳孔と角膜反射光の位置を検出する.また,開眼か閉眼かも人工知能で判別する.
マスク時は目画像から視線角度を推定する(i) 瞳孔・角膜反射光の位置と3次元顔モデル位置を手がかりに,視線を推定する.
(j) 検出された顔位置,顔角度,視線,開閉眼情報を時系
図3

自動運転レベル分け

具体的には,高速道路や自動車専用道路の走行にお列でチェックし,わき見判定,居眠り判定,ドライバー異常判定を行う.

いて,ナビゲーションで目的地を設定すると,ドライバー監視のもと,交通状況に応じてシステムが適切に認知,判断,操作を支援し,車線・車間維持,分岐,車線変更,追い越しなどを行いながら,目的地に向かって高速道路や自動車専用道路の分岐地点までの運転を支援する.ドラ
イバーはアクセル,ブレーキそしてステアリング操作からも解放され,長時間の運転における疲労が軽減される.
ドライバーモニターシステムは図4に示すように,ステアリングコラムにカメラと発光ダイオード（LED）を設置し,ドライバーを照らし,顔画像を取得する.
カメラは,天候や時間,場所などの環境条件に左右されず,画像の明るさが保たれるよう,ゲインや露光時間を自動調整する.
また,夜間はドライバーの目を眩ませることなく顔画像を撮影し,昼間は太陽光の変化に対する耐性を高める

図5

簡易処理フローために近赤外線LEDを使用している.
2021年の製品では,本フローに人工知能技術を全面的に取り入れることで,飛躍的に精度を向上させている.
図4 ドライバーモニターシステム（カメラとLED搭載）

図5に,画像認識アルゴリズムの簡易的な処理フローを示す.
顔の位置,顔の向き,視線,開閉眼などのドライバーの状態は,電子制御ユニット（ECU）により以下の手順で計

通常では計算量が膨大な人工知能の軽量化や最適化,高速化に取り組み,車載向けの安価なECUでの搭載を実現した.具体的な実施事項は,量子化,一回の命令で複数の演算を行えるNEONの使用,メモリ配置の整理による演算高速化,Layer Fusion,冗長演算回避等が挙げられる.
2008年と2021年の製品での大きな進化は,高精度

AISIN TECHNICAL REVIEW VOL.27 2023

26

に視線算出可能になったことと,人工知能を活用してい出ができる.
また,角膜曲率中心と瞳孔位置から,眼球中心位置のることである.
本稿では,この2点の事例を紹介する.

推定を行うこともできるので,その位置を使って3次元顔モデル上の眼球中心位置を補正する処理も行ってい3.

視線算出方法について

ドライバーモニターシステムでは,3つの手法（眼球中心法,角膜反射法,人工知能による算出）
を使いわけてる.これにより,ドライバーの動作等で,途中で角膜反射法を使えなくなった場合の,眼球中心法精度を上げている.

視線角度推定を行っている.
眼球中心法は,3次元顔モデルフィッティング結果から,眼球中心の3次元位置を推測し,その位置と瞳孔中心のベクトルを算出する方法である.このベクトルが視線である.図6にイメージ図を示す.

図8

角膜反射法イメージ図

従来の角膜反射方式による視線推定装置では,赤目の発生を抑えるためと,顔の3次元距離推定に対応するため,カメラとLEDの間に一定の距離を確保する必要
図6

眼球中心法イメージ図があり,民生用車両に搭載するには装置が大きくなりすぎてしまうという問題があった（図9）.

近赤外画像では画像が不鮮明であること,環境により

しかし,赤目の影響は独自の人工知能を用いて解決

瞳孔の見え方が異なること,「赤目」と呼ばれる瞳孔が白し,顔の3次元距離推定は3次元顔モデルフィッティング

く映る現象が起こることがあることから,瞳孔の検出は困結果を適用することで,2点の問題を解決できた.

難だった.図7に例を示す.
そこで,瞳孔の特徴が不確かであっても,多くの学習データから最適な特徴を自動的に抽出することができ

これにより,カメラとLEDを同軸上に配置しても角膜反射法を使えることができるようになり,ドライバーモニ
ターシステムの小型化も実現できた4).

る人工知能を使うことにした.様々な環境で撮影を行い,膨大なデータを集め,高精度かつ頑健に瞳孔を検出することができるようになった.

図7

瞳孔の見えかた例（左:通常, 右:赤目）

角膜反射法は,角膜に映ったカメラのLED光（角膜反射光）から,角膜曲率中心の位置を算出し,その位置と瞳孔中心のベクトルを算出する方法である.ドライ
バーの顔位置や姿勢により角膜反射光が映らないようなシーンでは前述した眼球中心法を使っている.角膜反射法のイメージを図8に示す.

27

図9

従来の角膜反射法イメージ図

人工知能による視線算出は,目領域画像を人工知能に入れることで,直接視線角度を算出する方法である.
図10にイメージ図を示す.

眼球中心法での視線算出の基点は,角膜曲率中心で眼球中心法では,眼球中心位置を3次元顔モデルはなく眼球中心だったが,その眼球中心位置は3次元顔フィッティングの結果から推定しているが,マスクを装着モデルフィッティングするときの複数の顔部位の推定誤していると非装着時に比べ,眼球中心位置への誤差の差が積まれるため,角膜反射法の方が精度良く視線算影響が顕著に現れる.マスクによって隠された鼻,口位

AISIN TECHNICAL REVIEW VOL.27 2023

表1

角膜反射法使用有無による性能比較や掛け方によって特徴の位置が変わるためである.
注視箇所

眼球中心位置の誤差による影響を受けずに視線角度角膜反射法使用

角膜反射法
不使用

性能[%]

性能[%]を推定するため,人工知能を作成し,マスク時に限定し技術論文比較て使用することにした.瞳孔検出する人工知能と同じく,

左窓

97.50

97.500.00

様々な環境で撮影を行った膨大な画像を学習させるこ

右窓

96.11

96.110.00とで,精度を上げた.

ナビ

92.50

89.44

3.06

ホーンパッド

96.39

86.39

10.00

ステアリング下端

94.17

92.22

1.94

モデルは,ResNet(Residual Neural Network) をベースとし、ECUでの処理時間を考慮してパラメータ調

自自自自自自自自自自自自自自自自自自自自自自自自自自置の代替としてマスク端を使用しているが,マスク形状整や構造を変更したものを使用している.

図104.

視線角度の人工知能

図11

角膜反射法不使用時例

図12

角膜反射法使用時例

概念図

評価結果

角膜反射法の使用有無のみしか差分がない2つのソフトでわき見判定精度を比較した.結果を表1に示す.
左窓,右窓注視時は角膜反射光が映らないため,差分はない.ナビとステアリング下端注視時は,角膜反射光が映るシーンは少なく,向上は僅かであった.
ホーンパッド注視時は他箇所と比べて,角膜反射光が映ることが多いため,10%向上していた.
なお,この評価は220人の被験者で行い,各注視箇所を見てから3秒以内に警報できた数の結果である.
また,ホーンパッド注視時の一例として,角膜反射法不5.

AWSを使った評価効率化について

ドライバーモニターシステムの評価は,実車やベンチ環境で取得した大量の評価映像を使用した机上評価を中心に行われており,2章処理フローの(f)(h)(i)を評価する認識評価と,(j)を評価する状態推定評価がある.

使用時の処理画を図11,角膜反射法使用時の処理画

状態推定評価には約60TBの動画を使用,機能開発を図12に示す.正解角度は視線水平角が0°視線垂直段階においてはオンプレミスで41台のPCシミュレータ

角が-20°のため,角膜反射法を使用することで精度がを使用しているが,作業開始から完了まで合計9日間を上がっていることが確認できる.

要しており,正警報/誤警報のバランス適合が主となる状態推定の開発において開発サイクルのボトルネックとなっていた.このうち,評価映像をPCシミュレータに入力し認識結果等の評価ログを出力する工程（状態推定ロ
グ出力工程）が,最も時間がかかっており,目標としてこの工程を4日間から1日間とするべく改善を検討した.
単純にPCを増やす場合は,背反として事前準備の手AISIN TECHNICAL REVIEW VOL.27 2023

28

作業をPCの台数分増やすことになり,また,置き場も用意する必要が出てくる.この悩みを解決する方法として,オンプレミス評価環境のクラウド化を実施した.クラウドとしては,他社でも実績のあるAWSを使用した.今回構築したAWS状態推定ログ出力評価環境の構成を図13

筆 者

服部哲也

走行安全第1制御技術部
ドライバーモニターシステム開発に従事に示す.
本環境によって,計算機（クラウド上の仮想PC）の上限を気にせず使用でき,また手作業も大幅に削減できたことにより,状態推定ログ出力工程1日間を達成した.またこれに加えて,推定結果の合否を判定する工程をクラウド化することで,状態推定評価に要する期間は9日間から2.5日間と短縮でき,開発サイクル短縮に大きく貢献した.

図13

6.

AWS状態推定ログ出力環境

おわりに

本稿では,視線算出に角膜反射法と人工知能を用いてわき見判定精度を向上させた取り組みを紹介した.カメラとLEDを同軸に置き,角膜反射を用いて視線算出す
る民生用ドライバーモニターシステムは世界初である.これらの取り組みを経て,高精度にわき見判定を行うことができるようになった.
また,AWSを用いることで,評価期間を短縮できた事
例についても紹介した.
最後に,これまでのドライバーモニターシステム開発にあたりご協力をいただきました,トヨタ自動車株式会
社,株式会社豊田中央研究所,ウーブン・コア株式会
社,Idein株式会社の皆様方をはじめ,関係者の方々に深く御礼申し上げます.

参考文献
1）警察庁:令和4年の交通死亡事故の特徴について,令和4年7月28日公表https://www.npa.go.jp/publications/
statistics/koutsuu/jiko/R4kamihanki_bunseki.pdf
2）J.Adachi et al.: “Development of a Sensor Detecting
Eyelid Positions,” 15th World Congress on Intelligent
Transport System, 2008.
3）国土交通省:自動運転のレベル分けについて
https://www.mlit.go.jp/common/001226541.pdf
4）小島他:“Driver Monitor System for Advanced Drive”, The R&D
100 Awards, 2022.

29

AISIN TECHNICAL REVIEW VOL.27 2023

桑山高史

走行安全第1制御技術部
ドライバーモニターシステム開発に従事