(57)【要約】【課題】被験者の目に入る映像の如何に関わらず、視線検出手段を補正するためのターゲットを良好に設定可能なターゲット設定装置の提供。【解決手段】被験者の視線が移動する視線範囲を推定する視線範囲推定手段（Ｓ１）と、前記視線範囲推定手段が推定した視線範囲から、ターゲットの候補点を抽出する候補点抽出手段（Ｓ３，Ｓ４）と、前記候補点抽出手段が抽出した候補点のターゲットとしての適切さを複数の指標を用いて評価する候補点評価手段（Ｓ５）と、前記候補点評価手段が評価したターゲットとしての適切さに基づき、前記候補点をターゲットに設定するか否かを判断するターゲット設定手段（Ｓ６〜Ｓ１１）と、を備えたことを特徴とする。【選択図】図２
2016001379.tif 000002
【特許請求の範囲】
【請求項１】
被験者の視線を検出する視線検出手段（３）を補正するためのターゲットを設定するターゲット設定装置であって、
前記ターゲットは、前記被験者が当該ターゲットを注視していると推定されるときに前記視線検出手段が前記視線の中心として検出した位置と、前記ターゲットの位置とのずれが、前記視線検出手段の検出誤差であるとして前記補正に応用されるものであり、
前記被験者の視線が移動する視線範囲を推定する視線範囲推定手段（１，Ｓ１）と、
前記視線範囲推定手段が推定した視線範囲から、ターゲットの候補点（Ｔｃ）を抽出する候補点抽出手段（１，Ｓ３，Ｓ４）と、
前記候補点抽出手段が抽出した候補点のターゲットとしての適切さを複数の指標を用いて評価する候補点評価手段（１，Ｓ５）と、
前記候補点評価手段が評価したターゲットとしての適切さに基づき、前記候補点をターゲットに設定するか否かを判断するターゲット設定手段（１，Ｓ６〜Ｓ１１）と、
を備えたことを特徴とするターゲット設定装置。
【請求項２】
前記候補点抽出手段は、複数の候補点からなる候補点組を抽出し、
前記候補点評価手段は、前記候補点抽出手段が抽出した前記候補点組に対して、複数のターゲットからなるターゲット組（Ｔ）としての適切さを評価し、
前記ターゲット設定手段は、前記候補点評価手段が評価したターゲット組としての適切さに基づき、前記候補点組を構成する各候補点をターゲットに設定するか否かを判断することを特徴とする請求項１に記載のターゲット設定装置。
【請求項３】
前記複数の指標のうちの１つは、前記候補点組を構成する各候補点の前記視線範囲全体に対する分散度合いであることを特徴とする請求項２に記載のターゲット設定装置。
【請求項４】
前記複数の指標のうちの１つは、前記候補点組を構成する各候補点同士の混同されにくさであることを特徴とする請求項２または３に記載のターゲット設定装置。
【請求項５】
前記複数の指標のうちの１つは、候補点の注目されやすさであることを特徴とする請求項１〜４のいずれか１項に記載のターゲット設定装置。
【請求項６】
前記視線範囲推定手段は、前記被験者に向けて画像を表示する表示手段（５）の画面（Ｓ）を、視線範囲として推定し、
前記候補点抽出手段は、前記画面上の点を前記候補点として抽出し、
前記候補点評価手段は、前記画面に表示される画像の情報に基づいて前記適切さを評価することを特徴とする請求項１〜５のいずれか１項に記載のターゲット設定装置。
【請求項７】
前記被験者は車両のドライバであり、
前記視線範囲推定手段は、前記車両の前方を撮影する撮影手段（７）の撮影範囲を視線範囲として推定し、
前記候補点抽出手段は、前記撮影手段が撮影した画像上の点を前記候補点として抽出し、
前記候補点評価手段は、前記撮影手段が撮影した画像に基づいて前記適切さを評価することを特徴とする請求項１〜５のいずれか１項に記載のターゲット設定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者の視線を検出する視線検出手段を補正するためのターゲットを設定するターゲット設定装置に関する。
【背景技術】
【０００２】
従来、被験者の視線を検出する視線検出手段を備え、検出された視線に応じた制御を実行する装置が種々提案されている。例えば、文字が１つずつ表示された複数のカーソルをパーソナルコンピュータの入力ダイアログ画面に並べて表示し、特定のカーソルが注視されたときにそのカーソルに対応する文字入力が指示されたと判断する装置が提案されている（例えば特許文献１参照。）。
【０００３】
また、特許文献１に記載の構成では、各カーソルの中心にターゲットを設定して、視線検出手段を自動的に補正している。すなわち、特定のカーソルが注視されたと視線検出手段が推定したとき、当該視線検出手段が視線の中心として検出した位置と、前記特定のカーソルの中心位置（ターゲット）とのずれが、視線検出手段の検出誤差であるとして、前記補正に応用している。なお、特許文献１に記載の構成では、眼球回転角を検出する視線センサとその眼球回転角に対する処理とで視線検出手段を形成し、前記ずれは、眼球回転角に対する処理がなされる際の補正データに反映される。前記検出誤差には、視線検出手段自身に起因する誤差の他にも、被験者個人の眼球動作の特徴に起因する誤差も含まれている（以下同様）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１０７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１に記載の構成では、入力ダイアログ画面における予め設定された箇所に表示されるカーソルの中心に、前述のターゲットを設定している。このため、装置の設計者が当初想定していなかったような図柄及び配置の画面が使用される場合は、適切にターゲットを設定することができない。また、被験者が外などを見ているときにも、視線検出手段による被験者の視線検出がなされる場合があり、そのような場合にも適切にターゲットが設定されるのが望ましい。
【０００６】
そこで、本発明は、被験者の目に入る映像の如何に関わらず、視線検出手段を補正するためのターゲットを良好に設定可能なターゲット設定装置を、提供することを目的としてなされた。
【課題を解決するための手段】
【０００７】
前記目的を達するためになされた本発明のターゲット設定装置では、視線範囲推定手段（１，Ｓ１）は、前記被験者の視線が移動する視線範囲を推定する。すると、その視線範囲推定手段が推定した視線範囲から、候補点抽出手段（１，Ｓ３，Ｓ４）は、ターゲットの候補点（Ｔｃ）を抽出する。候補点評価手段（１，Ｓ５）は、抽出された候補点のターゲットとしての適切さを、複数の指標を用いて評価する。そして、候補点評価手段が評価したターゲットとしての適切さに基づき、ターゲット設定手段（１，Ｓ６〜Ｓ１１）は、前記候補点をターゲットに設定するか否かを判断する。
【０００８】
このように、本発明では、ターゲットの候補点を抽出し、その候補点を複数の指標を用いて評価している。このため、被験者の目に入る映像の如何に関わらず、被験者の視線が移動する視線範囲から抽出された候補点を前記複数の指標によって評価することができる。従って、被験者の目に入る映像の如何に関わらず、視線検出手段を補正するためのターゲットを良好に設定することができる。
【０００９】
なお、前記候補点抽出手段が複数の候補点からなる候補点組を抽出する場合、前記複数の指標のうちの１つは、前記候補点組を構成する各候補点の視線範囲全体に対する分散度合いであってもよい。複数のターゲットが視線範囲全体に均等に分散して設定された場合は、視線範囲の各部で視線検出手段の検出誤差が異なる場合でも、均等に分散したターゲット毎に検出誤差を求めることができる。従って、視野範囲全体に対する分散度合いが高いと評価された候補点組を構成する各候補点がターゲットとして設定されれば、視線範囲における広い範囲に亘って適切に視線検出手段を補正することができる。
【００１０】
また、前記候補点抽出手段が複数の候補点からなる候補点組を抽出する場合、前記複数の指標のうちの１つは、前記候補点組を構成する各候補点同士の混同されにくさであってもよい。複数のターゲットが設定されたとしても、ターゲット同士が近接しているとか同一直線上に存在するとかいった混同されにくさの低い（混同されやすい）ターゲットが存在すると、被験者がどのターゲットを注視しているのか正確に推定できない場合がある。これに対して、各候補点同士の混同されにくさが高い場合、被験者がどのターゲットを注視しているのかをより正確に推定することができ視線検出手段を一層良好に補正することができる。
【００１１】
また、前記複数の指標のうちの１つは、候補点の注目されやすさであってもよい。視線範囲の中でも注目されやすい点は、被験者が実際にその点を注視する機会が多い。そのような点にターゲットが設定されていると、当該ターゲットを被験者が注視していると推定して視線検出手段を補正する処理は、より頻繁に実行されることができる。また、そのターゲットが実際に注視される時間も長い。従って、注目されやすさが高いと評価された候補点がターゲットとして設定されれば、視線検出手段を一層正確に補正することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明が適用された車載装置の構成を表すブロック図である。
【図２】その車載装置における処理の一部を表すフローである。
【図３】ターゲット候補の評価値の一例を表す説明図である。
【図４】ターゲット候補の評価値の他の例を表す説明図である。
【図５】ターゲット候補の評価値の更に他の例を表す説明図である。
【発明を実施するための形態】
【００１３】
［本実施形態の構成］
次に、本発明の実施形態を図面と共に説明する。図１に示す車載装置は、ＥＣＵ１を中心に構成され、当該ＥＣＵ１には、視線計測部３と、表示器５と、外部カメラ７とが接続されている。視線計測部３は、ドライバの視線を検出する周知のものである。表示器５は、カーナビゲーション装置の表示画面等としても使用される周知のものである。外部カメラ７は、車両前方の映像を撮影するもので、例えばドライビングレコーダ等に使用される周知のものである。
【００１４】
［実施形態における処理］
図２は、ＥＣＵ１に内蔵されたＣＰＵが、同じくＥＣＵ１に内蔵されたＲＯＭに記憶されたプログラムに基づいて実行する処理を表すフローである。なお、この処理は、視線計測部３の動作中に定期的に繰り返して実行される処理である。この処理は、視線計測部３を補正（キャリブレーション）するための次のようなターゲットを設定するための処理である。すなわち、ターゲットが設定されると、ドライバが当該ターゲットを注視していると推定されるときに視線計測部３がドライバの視線の中心として検出した位置と、当該ターゲットの位置とのずれが、視線計測部３の検出誤差であるとして前記補正がなされる。
【００１５】
図２に示すように、この処理では、先ず、Ｓ１（Ｓはステップを表す：以下同様）にて、ドライバの視野の範囲が取得される。なお、ここでいう視野とは、医学的な意味での視野よりも狭い範囲を示しており、被験者（ドライバ）の視線（視線の中心）が移動する視線範囲を示している。このような視野の範囲の取得方法としては種々考えられるが、例えば、ドライバが表示器５を見ていると推定される状況の場合、表示器５の画面Ｓ（図３参照）が視野の範囲として取得されてもよい。また、ドライバが車両の運転中であると推定される状況の場合、外部カメラ７の撮影範囲が視野の範囲として取得されてもよい。
【００１６】
続くＳ２では、それまで出力（設定）されていたターゲットが初期化される。Ｓ３では、Ｓ１にて取得された視野の範囲からターゲット候補となる点が複数（≫Ｎ≫１）抽出されて、その点の集合がＴC とされる。Ｓ４では、Ｓ３にて抽出されたＴC からランダムにＮ点が選択され、その点（候補点）の集合が候補点組ＴL とされる。更に、Ｓ５では、その候補点組ＴL に対する評価値Ｅ（ＴL ）が、例えば次の式（１）により計算される。
【００１７】
Ｅ（ＴL ）＝ＥS （ＴL ）＋ＥA （ＴL ）＋ＥC （ＴL ）      ………（１）
なお、式（１）において、評価値ＥS （ＴL ）は前記視野の範囲全体に対する候補点の分散度合いを表す指標であり、例えば次のようにして計算される。図３の例では、表示器５の画面Ｓを３×３に９等分して得られる各エリアＥのうち、内部に候補点Ｔｃ１〜Ｔｃ４が存在するエリアＥがいくつあるか、換言すれば、各候補点Ｔｃ１〜Ｔｃ４による画面カバー率がどの程度かを計算して、評価値ＥS （ＴL ）としている。なお、このようにして計算された評価値ＥS （ＴL ）は、候補点Ｔｃ１〜Ｔｃ４の数で割られることによって正規化されてもよい。
【００１８】
図４は、評価値ＥS （ＴL ）の他の計算方法を表す図である。図４の例では、候補点Ｔｃ１〜Ｔｃ４の全体を包含する凸多角形としての凸包Ｃを想定し、その凸包Ｃの面積を計算して評価値ＥS （ＴL ）としている。式（１）における評価値ＥS （ＴL ）は、これら以外の方法で計算されてもよく、各方法による計算値を組み合わせた値が採用されてもよい。
【００１９】
式（１）において評価値ＥA （ＴL ）は、候補点の注目されやすさを表す指標であり、例えば次のように計算される。視覚特性に基づき顕著性マップを作成し、各候補点の顕著度を合計した値を、評価値ＥA （ＴL ）とすることができる。なお、このような顕著度の計算は、例えば、Itti, L., Koch, C., & Niebur, E. 1998. A Model of Saliency-Based Visual Attention for Rapid Scene Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence等に詳しいので、ここでは詳述しない。前記論文には、輝度，色相，方向等について周囲との差が大きい領域に対して、視神経が大きく反応する（すなわち顕著度が高い）主旨の記述がある。また、各候補点の顕著度は、光の点滅などの動的要素も含めて計算されてもよく、動的要素のみに基づいて計算されてもよい。
【００２０】
式（１）において評価値ＥC （ＴL ）は、候補点の混同されにくさを表す指標であり、例えば次のように計算される。２つの候補点（Ｔｃ１〜Ｔｃ４のいずれか２つ）の距離が離れているほど、当該２つの候補点は混同されにくい。そこで、図５に示すように、候補点Ｔｃｍと候補点Ｔｃｎとを結ぶ線分がＬｍｎ（ｍ，ｎ＝１，２，３，または４）とされ、各線分Ｌ１２〜Ｌ３４の長さの総和が混同されにくさを表す評価値ＥC （ＴL ）とされてもよい。また、３つの候補点が同一直線上に並んでいる場合も混同されやすい。そこで、候補点Ｔｃ１〜Ｔｃ４の任意の３点を選んで形成される三角形の面積がそれぞれ計算され、その総和が評価値ＥC （ＴL ）とされてもよい。更に、それらの方法で計算された評価値ＥC （ＴL ）は、線分の数または候補点の数で割られて正規化されてもよい。評価値ＥC （ＴL ）は、前記以外の方法で計算されてもよい。
【００２１】
図２に戻って、Ｓ５にてこのように候補点組ＴL に対する評価値Ｅ（ＴL ）が計算されると、Ｓ６にて、既に計算されている他の候補点組ＴL に対する評価値Ｅ（ＴL ）の最高値Ｅ（Ｔ）以上であるか否かが判断される。Ｅ（ＴL ）≧Ｅ（Ｔ）の場合は（Ｓ６：Ｙ）、処理はＳ７へ移行する。なお、図２の処理が開始された後に初めてＳ６の処理が実行されたときには、Ｅ（Ｔ）の値が０にリセットされているので、Ｓ４にて選択された候補点組ＴL の如何に関わらずＥ（ＴL ）≧Ｅ（Ｔ）と判断されて（Ｓ６：Ｙ）、処理はＳ７へ移行する。
【００２２】
Ｓ７では、候補点組ＴL がＮ点のターゲットからなるターゲット組Ｔとして仮に設定（更新）される。続くＳ８では、そのターゲット組Ｔの評価値Ｅ（Ｔ）、すなわち、前述の評価値Ｅ（ＴL ）が、閾値ＴＨE 以上であるか否かが判断される。Ｅ（Ｔ）≧ＴＨE の場合は（Ｓ８：Ｙ）、処理はＳ１０へ移行し、そのターゲット組Ｔが視線計測部３の補正用ターゲットとして出力されて処理が一旦終了する。
【００２３】
すると、ドライバがターゲット組Ｔに属するいずれかの点（ターゲット）を注視していると推定されるときに、視線計測部３がドライバの視線の中心として検出した位置と、当該ターゲットの位置とのずれに基づいて視線計測部３の検出誤差が補正される。このような処理（キャリブレーション）は、ドライバが表示器５を無意識に見ている間に、図２とは別の処理によって実行される。また、このようなキャリブレーションの処理は周知であるので、ここでは詳述しない。
【００２４】
一方、評価値Ｅ（ＴL ）が閾値ＴＨE 未満である場合（Ｓ８：Ｎ）、または、候補点組ＴL に対する評価値Ｅ（ＴL ）がそれまでに計算されている評価値Ｅ（Ｔ）未満であった場合は（Ｓ６：Ｎ）、処理はＳ１１へ移行する。Ｓ１１では、Ｓ４〜Ｓ５の処理の繰り返し回数Ｌが閾値ＴＨL 以上であるか否かが判断される。繰り返し回数Ｌが閾値ＴＨL 未満の場合は（Ｓ１１：Ｎ）、処理は前述のＳ４へ移行し、繰り返し回数Ｌが閾値ＴＨL 以上である場合は（Ｓ１１：Ｙ）、処理は前述のＳ１０へ移行する。すなわち、候補点組ＴL の選択（Ｓ４）がＴＨL 回やり直されても評価値Ｅ（ＴL ）が閾値ＴＨE 以上となる候補点組ＴL がなかった場合は（Ｓ８：Ｎ、Ｓ１１：Ｙ）、それまでに評価値Ｅ（ＴL ）が最高であった候補点組ＴL がターゲット組Ｔとして設定される（Ｓ１０）。
【００２５】
［本実施形態の効果及び変形例］
このように、本実施形態では、候補点組ＴL を選択して複数の指標を用いた評価値Ｅ（ＴL ）を計算することによって、当該候補点組ＴL のターゲット組Ｔとしての適切さを評価している。このため、ドライバの目に入る映像の如何に関わらず、前記候補点組ＴL を適切に評価することができる。例えば、表示器５の表示画像が、一部に動画が挿入されるなど、プログラムの制作者が予定していなかったような画像に編集された場合にも、編集後の画像の情報はＥＣＵ１によって取得される。このため、ＥＣＵ１は、選択された候補点組ＴL に対して適切に評価値Ｅ（ＴL ）を計算することができる。
【００２６】
また、図３〜図５の例では、表示器５の画面Ｓに表示された画像にターゲットを設定する場合を示しているが、外部カメラ７が撮影した画像にターゲットが設定されてもよい。その場合、Ｓ１では、外部カメラ７の撮影範囲が視野の範囲とされ、その視野の範囲に前述のようにターゲットが設定される。そして、その場合、路上の青看板（案内標識）に設定された候補点が、注目されやすい（すなわち、評価値ＥA （ＴL ）の高い）候補点であると判断されてもよい。外部カメラ７が撮影した画像にターゲットが設定される場合、注目されやすい候補点としては、案内標識以外にも、速度制限等の他の標識や、信号（特に色の変化時）、前方車両のブレーキランプ、歩行者、自転車、路上障害物、カーブミラー等が挙げられる。
【００２７】
なお、前記実施形態において、ＥＣＵ１が、視線範囲推定手段，候補点抽出手段，候補点評価手段，及びターゲット設定手段の一例に相当し、かつ、それら４つの手段を備えたターゲット設定装置の一例に相当する。また、視線計測部３が視線検出手段の一例に、表示器５が表示手段の一例に、外部カメラ７が撮影手段の一例に、それぞれ相当する。また、ＥＣＵ１の処理のうち、Ｓ１が視線範囲推定手段の一例に、Ｓ３及びＳ４が候補点抽出手段の一例に、Ｓ５が候補点評価手段の一例に、Ｓ６〜Ｓ１１がターゲット設定手段の一例に、それぞれ相当する。
【００２８】
また、本発明は前記実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の形態で実施することができる。例えば、式（１）で計算される評価値Ｅ（ＴL ）は、前述した各指標に対応する評価値ＥS （ＴL ），ＥA （ＴL ），ＥC （ＴL ）のうちのいずれか１つを欠いて計算されてもよい。
【００２９】
ただし、指標のうちの１つが、前述の評価値ＥS （ＴL ）のように、候補点組を構成する各候補点の視野範囲全体に対する分散度合いである場合、次のような効果が生じる。すなわち、複数のターゲットが視野の範囲全体に均等に分散して設定された場合は、視野の範囲の各部で視線計測部３の検出誤差が異なる場合でも、均等に分散したターゲット毎に検出誤差を求めることができる。従って、視野範囲全体に対する分散度合いが高いと評価された候補点組を構成する各候補点がターゲットとして設定されれば、視野の範囲における広い範囲に亘って適切に視線計測部３を補正することができる。
【００３０】
また、指標のうちの１つが評価値ＥC （ＴL ）のように各候補点同士の混同されにくさである場合、次のような効果が生じる。複数のターゲットが設定されたとしても、ターゲット同士が近接しているとか同一直線上に存在するとかいった混同されにくさの低い（混同されやすい）ターゲットが存在すると、ドライバがどのターゲットを注視しているのか正確に推定できない場合がある。これに対して、各候補点同士の混同されにくさが高い場合、ドライバがどのターゲットを注視しているのかをより正確に推定することができ視線計測部３を一層良好に補正することができる。
【００３１】
また、指標のうちの１つが評価値ＥA （ＴL ）のように候補点の注目されやすさである場合、次のような効果が生じる。視野の範囲の中でも注目されやすい点は、ドライバが実際にその点を注視する機会が多い。そのような点にターゲットが設定されていると、当該ターゲットをドライバが注視していると推定して視線計測部３を補正する処理は、より頻繁に実行されることができる。また、そのターゲットが実際に注視される時間も長い。従って、注目されやすさが高いと評価された候補点がターゲットとして設定されれば、視線計測部３を一層正確に補正することができる。
【００３２】
そして、この注目されやすさのように、単一の候補点に対して評価値を計算することが可能な指標のみが複数用いられる場合は、候補点は１点ずつ抽出されて評価され、その評価結果に基づいて１点のターゲットが設定されてもよい。また、本発明は車載装置に限定されるわけではなく、パーソナルコンピュータ等の種々の装置に適用することができる。
【符号の説明】
【００３３】
１…ＥＣＵ          ３…視線計測部      ５…表示器
７…外部カメラ      Ｃ…凸包            Ｅ…エリア
Ｓ…画面            Ｔｃ１〜Ｔｃ４…候補点
【図１】
2016001379.tif 000003
【図２】
2016001379.tif 000004
【図３】
2016001379.tif 000005
【図４】
2016001379.tif 000006
【図５】
2016001379.tif 000007