(57)【要約】      （修正有）【課題】運転走行中に、運転者に負担をかけることなく、運転者の注視点が高精度に推定できる技術を提供する。【解決手段】一つの全天空画像データに運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を実際の運転に先だって学習させておき、実際の運転走行中では、事前の学習結果に基づいて、全天空画像中の運転者顔画像から運転者の注視点を推定することで、運転者に画像撮影装置の装着等の負担をかけることなく、簡単な装置構成で、リアルタイムで運転者の注視点を検出する。【選択図】図２
2020184143.tif 000002
【特許請求の範囲】
【請求項１】
一つの全天空画像データに運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を実際の運転に先だって学習させておき、実際の運転中では、撮影した全天空画像中の運転者顔画像から、実際の運転に先立つ事前学習の結果に基づいて、運転者の注視点を推定する、注視点推定方法。
【請求項２】
前記全天空画像データは１台の全天空カメラで撮影された画像データであることを特徴とする、請求項１に記載の注視点推定方法。
【請求項３】
前記全天空画像データは運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影されていることを特徴とする、請求項１に記載の注視点推定方法。
【請求項４】
前記事前学習はニューラルネットワークを用いて実施されることを特徴とする、請求項１に記載の注視点推定方法。
【請求項５】
前記事前学習は、前記全天空画像データ中の運転者顔画像内に設定した複数のランドマークの単位球面座標値を入力とし、前記注視点の単位球面座標値を出力とする、「教師あり回帰学習」であることを特徴とする、請求項１に記載の注視点推定方法。
【請求項６】
前記ランドマークおよび前記注視点の単位球面座標値は、（x、y、z）直交座標値及び／あるいは（θ、φ）球面座標値であることを特徴とする、請求項１に記載の注視点推定方法。
【請求項７】
前記教師あり回帰学習には、実際に撮影した全天空画像データを単位球面座標値に変換したデータに加えて、単位球面座標系を所定の回転軸周りに所定角度回転させたデータも使用することを特徴とする、請求項１に記載の注視点推定方法。
【請求項８】
前記教師あり回帰学習には、実際に撮影した全天空画像データを単位球面座標値に変換したデータ、当該単位球面を所定の回転軸周りに所定角度回転させたデータに加えて、乱数発生等によって作成したノイズを加算した位置座標値も使用することを特徴とする、請求項１に記載の注視点推定方法。
【請求項９】
前記ランドマークは、顔部ランドマーク、目部ランドマーク、頭部姿勢とし、顔照合ソフトOpenFaceを利用して抽出することを特徴とする、請求項１に記載の注視点推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車などの車両を運転する運転者の注視点を運転走行中にリアルタイムで検出するための注視点推定方法に関し、より詳細には、運転者の顔部と運転者の視界中の注視点の両方が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を実際の運転に先だって学習させておき、実際の運転中では、事前の学習結果に基づいて、全天空画像中の運転者顔画像から運転者の注視点を推定することを特徴とする注視点推定方法。
【背景技術】
【０００２】
車両運転中の運転者の注視点（あるいは、視界への視線方向）の検出技術は、注視点への視線滞在時間や注視頻度等が運転者の習熟度、集中度、疲労度等に関連していることから、安全運転支援関連システムへの応用が可能な技術として注目されている。
【０００３】
視線方向の推定方法として、顔面近くに装着したカメラで撮影した目頭と虹彩の位置関係を用いる方法、顔面前方付近に装着した赤外線装置から照射した光ビームの角膜上の反射スポットと瞳孔の位置関係を調べる方法等が知られているが、運転者の顔面近くに撮像装置を装着あるいは設置する必要があることから、実際の転走行中に、運転者に負担をかけることなく、運転者が注視する位置を高精度に検出できる技術の開発が望まれている。
【０００４】
特許文献１には、オペレータの頭部に眼球運動検出手段（カメラ）とオペレータの視界撮像手段（カメラ）を取り付け、眼球の動きとその変位量から、ニューラルネットワークを利用してオペレータの顔面上のある点を原点として、オペレータの視界中の、注視点の３次元位置座標を求めるための装置が開示されている。オペレータの頭部に眼球運動検出手段と対象撮像手段を装着することで、オペレータが注視している方向が大きく変化した場合においても、注視点が特定できるという特徴を有しているが、オペレータに対する拘束性（２台のカメラ装置を頭部に装着する）という観点での課題がある。
【０００５】
特許文献２には、メータ、ルームミラー等の車内設備を対象として、車の運転者の注視点を検出することを目的として、車内に運転者の両眼部分を撮影するための撮像装置（カメラ）を設置し、運転者の両眼の３次元的な動きを基に特徴ベクトルを作成して、ニューラルネットワークを利用して特徴ベクトルと運転者の注視点を関連付ける注視点検出システムが開示されている。ニューラルネットワークを利用することに加え顔の向きのデータを必要としないことから、注視点検出のための処理負荷の軽減が達成されているが、外部視界中の注視点に関する事前学習のための手段を含んでおらず、走行中に時々刻々と変化する外部視界中の注視点の検出には適用することができない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−５９８０４号特許公報
【特許文献２】特開２００５−７１０４１号特許公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
安全運転支援の観点から、自動車などの車両を運転する運転者の注視点を運転走行中にリアルタイムで検出できる注視点推定技術の開発が望まれているが、実際の運転走行中に、運転者に負担をかけることなく実施できる技術は実現されていない。
本発明は、実際の運転走行中に、運転者に画像撮影装置の装着等の負担をかけることなく、簡単な装置構成で、リアルタイムで運転者の注視点の検出ができる、注視点推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の注視点推定方法は、一つの全天空画像データに運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を実際の運転に先だって学習させておき、実際の運転中では、撮影した全天空画像中の運転者顔画像から、事前の学習結果に基づいて、運転者の注視点を推定することを特徴とする。
【０００９】
前記全天空画像データは、１台の全天空カメラで撮影されることとしても良い。
【００１０】
前記運転に先だって実施される学習（以下、事前学習と略記することがある。）はニューラルネットワークを用いて実施されることとしても良い。
【００１１】
前記事前学習は、顔画像内に設定した複数のランドマーク（以下、顔画像内に設定した複数のランドメークを纏めて、ランドマークと略記することがある。）の単位球面座標値を入力として注視点の単位球面座標値を出力とする教師あり回帰学習法としても良い。
【００１２】
上記ランドマーク及び注視点の単位球面座標値は、（x、y、z）直交座標値（x、y、z）及び／あるいは（θ、φ）球面座標値としても良い。
【００１３】
前記教師あり回帰学習には、実際に撮影した前記複数の全天空画像データを単位球面座標値に変換した後に、単位球面を所定の回転軸周りに所定角度回転させたデータも使用することとしても良い。
【００１４】
前記教師あり回帰学習には、実際に撮影した全天空画像データを単位球面座標値に変換したデータ、当該単位球面を所定の回転軸周りに所定角度回転させたデータに加えて、乱数発生等によって作成したノイズを加算した位置座標値をニューラルネットワークの入力値、出力値としても良い。
【００１５】
前記ランドマークは、顔部ランドマーク、目部ランドマーク、頭部姿勢とし、顔照合ソフトOpenFaceを利用して抽出することとしても良い。
【発明の効果】
【００１６】
本発明によれば、実際の運転に先だって、一つの全天空画像データに運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を学習させておき、実際の運転中では、事前の学習結果に基づいて、全天空画像中の運転者顔画像から運転者の注視点をリアルタイムで推定することが可能となる。運転者から十分隔たった位置に設置した１台の全天空カメラで撮影した画像データを用いて実現することができ、運転者に負担をかけない注視点推定が可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の概要を示す図である。
【図２】本発明でのニューラルネットワークの事前学習時のデータ処理手順の概要を示す図である。
【図３】本発明での運転者注視点検出時のデータ処理手順の概要を示す図である。
【図４】運転者の顔部と運転者の視界中の注視点の両方が撮影された複数の全天空画像と、注視点として使用したマーカの一例を示す図であり、（a）は全天空画像、（b）はマーカ画像である。
【図５】顔照合ソフトOpenFaceで得られるランドマークの一例を示す図であり、（a）は図４（a）の運転者の顔部分の画像にランドマークを重ねたもの、（b）はその拡大図である。
【図６】全天空画像データを単位球面座標値に変換する方法の概要を示す図である。
【図７】全天空画像データの回転によって得られるデータも使用する方法の概要を示す図である。
【図８】実験で使用したランドマークの詳細配置を示す図であり、（a）は54点の顔特徴点を、（b）は56点の目特徴点を示している。
【図９】目部のランドマークを用いて、被験者毎にニューラルネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
【図１０】目部のランドマークと顔部のランドマークの両方を用いて、被験者毎にニューラルネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
【図１１】目部のランドマークを用いて、複数の被験者を纏めてニューラルネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
【図１２】目部のランドマークと顔部のランドマークを用いて、複数の被験者を纏めてニューラルネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標阿値を用いた結果を示す図である。
【発明を実施するための形態】
【００１８】
以下、図を用いて、本発明の注視点推定方法を説明する。
図において同一のデータ処理を行う部分は同一の番号を付して、再度の説明を省略することがある。
【００１９】
図１は本発明の概要を示す図である。
図において、１は全天空画像を撮影するための全天空カメラであり、運転者２の顔部と運転者２の視界中の注視点の両方が撮影できる位置に配置されている。３は全天空カメラ１によって撮影された全天空画像の一例を示したものであり、図４に詳しく示すように、運転者の顔部と運転者の視界中の注視点の両方が撮影されている。
４は全天空画像３中の運転者の顔部について、顔照合ソフトOpenFaceで得られるランドマークを示す図であり、図５に拡大して示す。
５は全天空画像３を単位球面座標に変換した単位球面座系を示しており、図６に詳しく示すように、全天空画像中の運転者２の顔部のランドマーク４及び注視点は単位球面座標上の点に変換される。
６はニューラルネットワークであり、複数の全天空画像３から得られた複数のランドマーク４の座標値を入力とし、それに対応する注視点の座標値を出力とする事前学習を行う。
ニューラルネットワーク６への入力画像データとしては、実際に撮影した画像データ以外に、全天空画像データを単位球面座標値に変換した後に、図７に詳しく示すように、単位球面を所定の回転軸周りに回転させたデータも使用することとしても良いし、さらに、乱数発生等によって作成したノイズを加算した位置座標値をニューラルネットワーク６の入力値としても良い。
【００２０】
実際の使用時には、全天空カメラ１と運転者２とをニューラルネットワーク６を事前学習させたときとほぼ同じ位置関係を保って配置された状態で撮影された全天空画像から抽出したランドマーク４の位置座標値をニューラルネットワーク６に入力し、ニューラルネットワーク６の出力として、リアルタイムで運転者の注視点を推定する。
【００２１】
図２はニューラルネットワーク６への事前学習手順の概要を示したものであり、以下の各ステップに従って実施される。
ステップ１：
全天空カメラ１によって、ランドマーク４と運転者の視界中の注視点の両方が一つの画像中に含まれる全天空画像３を撮影する。
ステップ２：
撮影された画像データを単位球面座標上の点に変換し、ランドマーク４の位置座標、注視点の位置座標を求める。
位置座標としては、単位球面上のＸＹＺ座標値（x,y,z）及び／あるいは球面座標値（θ、φ）を用いることができる。
ステップ３：
ステップ２で得られたランドマーク４の位置座標値を入力とし、注視点の位置座標値を出力として、ニューラルネットワーク６を事前学習させる。
事前学習に用いる画像データは、実際に全天空カメラ１で撮影した全天空画像３以外に、単位球面を所定の回転軸周りに回転させたデータも使用することとしても良い。
さらに、撮影した全天空画像とそれを所定の角度回転させた画像データについて、ランドマーク４の位置座標、注視点の位置座標に、乱数発生等によって作成したノイズを加算した位置座標データを使用することとしても良い。
ステップ４：
ステップ１、ステップ２、ステップ３を繰返し実施し、所定の画像データ数による事前学習を行った後に、事前学習を終了する。
所定の画像データ数は、例えば120程度に設定することができる。
【００２２】
図３は事前学習後のニューラルネットワーク６を用いて、実際の運転走行中に運転者２の注視点を推定する手順を示したものであり、以下の各ステップに従って実施される。
ステップ５：
全天空カメラ１を、運転者２との位置関係を事前学習時とほぼ同一に保った状態で設置する。
ステップ６：
実際の運転中に、全天空カメラ１によって、ランドマーク４（すなわち、運転者２の顔部）を撮影する。
ステップ７：
撮影された画像データをリアルタイムで単位球面座標上の点に変換し、ランドマーク４の位置座標を求める。
ステップ８：
ステップ７で得られたランドマーク４の位置座標値を事前学習後のニューラルネットワーク６に入力し、リアルタイムで運転者の推定注視点の座標値を出力として得る。
【００２３】
図４は図１の全天空カメラ１によって撮影された全天空画像３の詳細を示したものであり、（a）は一つの画像に運転者２の顔部と注視点が撮影されている状態を示しており、（b）は使用したマーカの一例を示している。事前学習時、運転者２はマーカの中心部にある黒丸印を注視する。
【００２４】
図５は顔照合ソフトOpenFaceで得られるランドマークの一例を示す図であり、（a）は図４
（a）の運転者の顔部分の画像にランドマークを重ねたもの、（b）はその拡大図である。
【００２５】
図６は全天空画像データを単位球面座標値に変換する方法の概要を示したものであり、
高さH、幅Wの全天空画像上の対象となる点の座標を（u,v）とするとき、単位球面座標系における（θ、φ）座標は、それぞれ、式（１）、式（２）で表せる。
θ= (180×v) / H              （１）
φ= (360×u) / W              （２）
また、座標（u,v）の半径r=１の単位球面座標系における（x,y,z）座標は（θ、φ）座標を用いて、それぞれ、式（３）、式（４）、式（５）で表せる。
x = r×sinθcosφ = sinθcosφ      （３）
y = r×sinθsinφ = sinθsinφ      （４）
z = r×cosθ =  cosθ              （５）
【００２６】
図７は実際に撮影した全天空画像データを単位球面座標値に変換した後に、単位球面を所定の回転軸周りに所定角度回転させたデータも使用することでニューラルネットワーク学習時のデータ数を増やす方法の概要を示したものであり、本発明の注視点推定方法では図６に示した球面座標系におけるZ軸を中心に特徴点を回転させることでデータ数の増大を図る。
単位球面座標系における画像をZ軸中心に回転させることで、全天空カメラを水平方向に回転した状態の画像を得ることができ、角度Θ回転させたときの回転行列Rz(Θ)は式（６）で表せ
る。
2020184143.tif 000003
回転行列Rz(Θ)を対象となる特徴点の座標値（x,y,z）掛け合わせることで、回転後の（x,y,z）座標値が得られる。
【００２７】
ニューラルネットワーク６の学習には、実際に撮影した全天空画像データを単位球面座標値に変換したデータ、当該単位球面を所定の回転軸周りに所定角度回転させたデータに加えて、例えば以下手順で作成した乱数を加算した位置座標値も利用することができる。
&#9332;  正距円筒図法で表す全天周画像から検出された顔の輪郭や目の特徴点と注視点マーカ画像の座標に対して、ランダムに１画素以内のノイズを付け加える。つまり、画像処理を行う際に、顔の輪郭や目の特徴点と注視ターゲット画像の座標には、１画素以内の検出誤差があり得ることを仮定していることになる。
&#9333;  ノイズを付け加えた顔の輪郭や目の特徴点と注視点マーカ画像の座標を単位球面上に変換して、新しい学習データとして用いる。
【００２８】
図８は実験で使用したランドマークの詳細配置を示す図であり、（a）は54点の顔特徴点を、（b）は56点の目特徴点を示している。
ニューラルネットワーク６の入力値としては、単位球面上の、これらすべての特徴点の（x,y,z）座標値及び／または球面座標値（θ、φ）を用いる。
【実施例】
【００２９】
図４に示したように、被験者の前方にリコー社の全天球カメラTHETA Vを置き、被
験者にマーカを注視させ、マーカの位置を変えながら被験者ごとに120枚の画像を撮影した。
次に各画像に対して、OpenFaceを用いて顔部と目部のランドマーク点と注視点（マーカーの中心点）を抽出した。その後、各被験者の画像に対して、画像の垂直軸に対する回転と、顔と目のランドマーク点の位置に対してノイズを付け加えることで、32,000組の学習データを生成した。
それらのデータに対して、ランドマークとして目部のみのランドマークを使用するか目部と顔部の両方のランドマークを使用するか、直交座標値を使用するか極座標値を使用するか、被験者ごとにニューラルネットワークを事前学習させるか複数の被験者をまとめてニューラルネットワークを事前学習させるかの、合わせて8通りの組み合わせについてニューラルネットワークの事前学習と注視点推定実験を行った。
図９は目部のランドマークを用いて、被験者毎にニューラルネットワークを事前学習させた
ときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
図１０は目部のランドマークと顔部のランドマークの両方を用いて、被験者毎にニューラル
ネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
図１１は目部のランドマークを用いて、複数の被験者を纏めてニューラルネットワークを事
前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、
出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標値を用いた結果を示す図である。
図１２は目部のランドマークと顔部のランドマークを用いて、複数の被験者を纏めてニュー
ラルネットワークを事前学習させたときの実験結果を示したものであり、（a）はニューラルネットワークの入力値、出力値として直交座標値を用いた結果を、（b）はニューラルネットワークの入力値、出力値として極座標阿値を用いた結果を示す図である。
図から、直交座標値で顔と目のランドマーク点と注視点を表した方が、極座標値で顔と目のランドマーク点と注視点を表した方より注視点推定精度が高いことが判る。また、被験者ごとに注視点推定のニューラルネットワークを事前学習させた方が、複数の被験者をまとめてニューラルネットワークを事前学習させるよりも高い注視点推定精度が得られることが判る。
【産業上の利用可能性】
【００３０】
本発明の注視点推定方法によれば、一つの全天空画像データに運転者の顔部と運転者の視界中の注視点の両方を含む領域が撮影された複数の全天空画像データを用いて、運転者顔画像と注視点の関係を実際の運転に先だって学習させておき、実際の運転中では、事前の学習結果に基づいて、全天空画像中の運転者顔画像から運転者の注視点を推定することで、運転者に画像撮影装置の装着等の負担をかけることなく、簡単な装置構成で、リアルタイムで運転者の注視点を検出することができ、安全運転支援のための有効な技術となる。
【符号の説明】
【００３１】
１   全天空カメラ
２   運転者
３   全天空画像
４   ランドマーク
５   単位球面座標系
６   ニューラルネットワーク
【図１】
2020184143.tif 000004
【図２】
2020184143.tif 000005
【図３】
2020184143.tif 000006
【図４】
2020184143.tif 000007
【図５】
2020184143.tif 000008
【図６】
2020184143.tif 000009
【図７】
2020184143.tif 000010
【図８】
2020184143.tif 000011
【図９】
2020184143.tif 000012
【図１０】
2020184143.tif 000013
【図１１】
2020184143.tif 000014
【図１２】
2020184143.tif 000015