(57)【要約】【課題】視線計測の校正を適切に行う技術を提供する。【解決手段】情報処理装置１１は、姿勢計測部４０と、視線計測・校正部３０と、を備える、姿勢計測部４０は、被検者の頭部姿勢を計測するように構成されている。視線計測・校正部３０は、少なくとも被検者の眼を撮影する撮像部１０により撮影された撮影画像から被検者の視線を計測し、姿勢計測部４０により計測された頭部姿勢に応じた校正値を用いる所定の計算式により、計測された上記視線の校正を行うように構成されている。【選択図】図１
2018010465.tif 000002
【特許請求の範囲】
【請求項１】
被検者の頭部姿勢を計測するように構成された姿勢計測部（４０）と、
少なくとも前記被検者の眼を撮影する撮像部（１０）により撮影された撮影画像から前記被検者の視線を計測するように構成された視線計測部（３０）と、
前記姿勢計測部により計測された前記頭部姿勢に応じた校正値を用いる所定の計算式により、前記視線計測部により計測された前記視線の校正を行うように構成された校正部（３０）と、を備える、情報処理装置（１１）。
【請求項２】
請求項１に記載の情報処理装置であって、
被検者が眼鏡を掛けているか否かを判別する眼鏡判別部（５０）を備え、
前記校正部は、前記眼鏡判別部により前記被検者が眼鏡を掛けていると判別された場合には、前記姿勢計測部により計測された前記頭部姿勢に応じた校正値を用いて前記校正を行い、前記眼鏡判別部により前記被検者が眼鏡を掛けていないと判別された場合には、所定の校正値を用いて前記校正を行う、情報処理装置。
【請求項３】
請求項１又は請求項２に記載の情報処理装置であって、
複数の前記校正値を記憶可能に構成された記憶部（７０）と、
予め登録された複数の前記被検者の中から視線計測の対象である前記被検者を特定する個人認証部（５０）と、を備え、
前記校正値は、複数の前記被検者それぞれについて、１つ以上の頭部姿勢ごとに予め取得され、前記記憶部に記憶された値であって、
前記校正部は、前記個人認証部により特定された前記被検者の、前記姿勢計測部により計測された前記頭部姿勢に応じた前記校正値を前記記憶部から読み出して前記校正を行う、情報処理装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の情報処理装置であって、
前記頭部姿勢は、３次元座標、ロール角、ピッチ角、ヨー角、のうちの少なくともいずれか１つのパラメータを含む、情報処理装置。
【請求項５】
コンピュータに、
被検者の頭部姿勢を計測するように構成された姿勢計測機能（４０）と、
少なくとも前記被検者の眼を撮影する撮像部（１０）により撮影された撮影画像から前記被検者の視線を計測するように構成された視線計測機能（３０）と、
前記姿勢計測機能により計測された前記頭部姿勢に応じた校正値を用いる所定の計算式により、前記視線計測機能により計測された前記視線の校正を行うように構成された校正機能（３０）と、を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線を検出する技術に関する。
【背景技術】
【０００２】
従来、ユーザの頭部を撮影した撮影画像からユーザの視線を検出する技術が知られている。また視線計測の誤差を低減するため、検出された視線の校正を行う構成が提案されている。例えば特許文献１では、複数個の標準点を注視することで校正のためのパラメータを取得する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１３４３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されるように、従来は瞳孔の位置の変化に応じて校正を行っていた。しかしながらこの手法では、適切に校正ができず、誤差が大きくなってしまう場合があった。
【０００５】
本開示は、視線計測の校正を適切に行う技術を提供する。
【課題を解決するための手段】
【０００６】
本開示の第１の態様は、姿勢計測部（４０）と、視線計測部（３０）と、校正部（３０）と、を備える、情報処理装置（１１）である。姿勢計測部は、被検者の頭部姿勢を計測するように構成されている。視線計測部は、少なくとも被検者の眼を撮影する撮像部（１０）により撮影された撮影画像から被検者の視線を計測するように構成されている。校正部は、姿勢計測部により計測された頭部姿勢に応じた校正値を用いる所定の計算式により、視線計測部により計測された上記視線の校正を行うように構成されている。
【０００７】
このような構成によれば、頭部姿勢が異なることに起因して生じる誤差を低減して、適切な校正を行うことができる。
本開示の第２の態様は、コンピュータに、姿勢計測機能（４０）と、視線計測機能（３０）と、校正機能（３０）と、を実現させるためのプログラムである。姿勢計測機能は、被検者の頭部姿勢を計測するように構成されている。視線計測機能は、少なくとも被検者の眼を撮影する撮像部（１０）により撮影された撮影画像から被検者の視線を計測するように構成されている。校正機能は、姿勢計測機能により計測された頭部姿勢に応じた校正値を用いる所定の計算式により、視線計測機能により計測された視線の校正を行うように構成されている。
【０００８】
このような構成によれば、上述した第１の態様の情報処理装置と同様の効果を奏することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【０００９】
【図１】視線計測システムの構成を示すブロック図である。
【図２】情報処理装置の構成を示すブロック図である。
【図３】校正値算出処理のフローチャートである。
【図４】校正値の取得方法を説明する図である。
【図５】校正値の取得方法を説明する図である。
【図６】校正値テーブルの一例を示す図である。
【図７】校正値の取得方法を説明する図である。
【図８】校正処理のフローチャートである。
【図９】変形例の校正値算出処理のフローチャートである。
【図１０】校正値の取得方法を説明する図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．実施形態］
［１−１．構成］
図１に示す視線計測システム１は、自動車などの車両に搭載され、搭乗者の視線を検出する装置である。以下の説明では、視線の検出対象となる搭乗者を被検者と記載する。視線計測システム１は、撮像部１０と、情報処理装置１１と、ディスプレイ１３と、複数のランプ１４ａ、１４ｂ、１４ｃ…と、を備える。複数のランプ全てを対象として説明をするときには、単にランプ１４と記載する場合がある。
【００１１】
撮像部１０は、車両に設けられた撮像装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。撮像部１０は所定の時間間隔（一例として１／１５ｓ）で車両周辺を撮影し、撮影した撮影画像を情報処理装置１１に出力する。撮像部１０の撮影対象は車室内の搭乗者の顔及びその周辺部であり、少なくともその搭乗者の眼が撮影可能となるように撮像部１０は配置される。
【００１２】
情報処理装置１１は、図２に示されるように、ＣＰＵ１５と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１６）と、を有する周知のマイクロコンピュータを中心に構成される。情報処理装置１１の各種機能は、ＣＰＵ１５が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１６が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、情報処理装置１１を構成するマイクロコンピュータの数は１つでも複数でもよい。このメモリ１６には、後述する校正値テーブルが記憶される。
【００１３】
情報処理装置１１は、ＣＰＵ１５がプログラムを実行することで実現される機能の構成として、図１に示すように、顔検出部２０と、視線計測・校正部３０と、頭部姿勢計測部４０と、個人認証・眼鏡判別部５０と、校正値算出部６０と、校正値記憶部７０と、校正制御部８０と、校正指標提示部９０と、頭部姿勢提示部１００と、を備える。なお、視線計測・校正部３０が、視線計測部及び校正部に相当する。また、個人認証・眼鏡判別部５０が、個人認証部及び眼鏡判別部に相当する。
【００１４】
情報処理装置１１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
【００１５】
ディスプレイ１３は、画像を表示可能である液晶ディスプレイ、有機ＥＬディスプレイ等の表示画面を有する装置である。
ランプ１４は、ＬＥＤ発光素子などを備える光を照射する装置であって、車室内又は車室外にて間隔を空けて複数配置されている。なおランプ１４が配置される位置は特に限定されないが、ルームミラー、サイドミラーなど、車両の運転者が視認する機会の多い場所に設定することもできる。
【００１６】
［１−２．処理］
本実施形態の視線計測システム１における情報処理装置１１は、被検者ごとの個体差により生じる視線計測の誤差を低減するため、公知の手法により視線計測を行い、その後に誤差低減のための校正を行う。視線を校正するための計算式に用いられる校正値は、被検者ごとに、また被検者の頭部の姿勢（以下、頭部姿勢）ごとに予め取得される。
【００１７】
＜視線計測の概要＞
本実施形態では、まず、公知の手法を用いて、被検者の顔が撮影された撮影画像から視線を計測する。視線とは、例えば、眼球等の位置を基準とした視線が向く角度、所定の平面において被検者が注視する位置の座標、眼球等の位置を基準とした直線、などにより表すことができる。本実施形態では、眼球等の位置と、その位置を基準とした視線が向く角度を用いる。もちろん、他のパラメータを用いて視線を表す構成であってもよい。
【００１８】
本実施形態では、撮像部１０の撮影画像から、眼の特徴点として基準点と動点とを抽出する。基準点とは視線を変化させても移動しにくい点であり、例えば目頭とすることができる。動点とは視線を変化させたときに移動する点であり、例えば虹彩とすることができる。そして、基準点と動点との位置関係から、視線を算出する。基準点としては、目頭、目尻、照射した光の角膜での反射光であるプルキニエ像などを利用することができる。
【００１９】
また別の手法としては、赤外線を眼に照射して角膜反射を赤外線カメラで撮影し、瞳孔との位置関係に基づいて視線を算出することもできる。即ち、視線を検出する方法自体は、公知の様々な方法を用いることができる。
【００２０】
なお、ここで計測される視線は、頭部姿勢の相違により生じる誤差の低減を考慮していない値である。
このように公知の手法により算出された視線を、より正確な視線に校正するため、頭部姿勢に応じた校正値を用いる所定の計算式により校正を行う。校正の具体的な内容については後述する。
【００２１】
＜校正値算出処理＞
情報処理装置１１のＣＰＵ１５が実行する校正値算出処理について、図３のフローチャートを用いて説明する。この校正値算出処理は、例えば、搭乗者により校正値を算出する指示がなされた場合、一例としてはその指示のためのスイッチ操作が行われた場合に開始される。但し、搭乗者による指示以外を条件として開始してもよい。なお以下の説明においては、処理主体を情報処理装置１１の上述した機能構成として説明する。
【００２２】
Ｓ１０では、頭部姿勢提示部１００は、ランプ１４を用いて、被検者に対し、頭部姿勢を提示する。ここでいう頭部姿勢とは、被検者の頭の位置と顔を向ける方向である。顔を向ける方向のみを提示してもよい。この提示される頭部姿勢のことを、以下では、提示姿勢とも記載する。
【００２３】
頭部姿勢提示部１００は、図４に示されるように、複数のランプ１４のうち、ランプ１４ａのみを点灯させる。また頭部姿勢提示部１００は、ディスプレイ１３に、そのランプ１４が正面となるように被検者１２０の頭部を向ける旨の指示が示された画像を表示させる。
【００２４】
Ｓ２０では、校正指標提示部９０は、ディスプレイ１３を用いて、校正指標を被検者に提示する。具体的には、校正指標提示部９０は、図５に示されるように、ディスプレイ１３に、表示される位置が予め定められた複数の校正指標１２２のうちのいずれか１つを、注目すべき指標であるとわかる態様で表示させる。例えば、注目すべき校正指標１２２を点滅させたり、他の校正指標１２２とは異なる色に変更したりすることが考えられる。また、注目すべき校正指標１２２のみ表示させる構成としてもよい。
【００２５】
なお、後述するＳ８０からＳ２０に移行した場合には、同一の提示姿勢であるときにＳ２０の処理にて既に表示された校正指標１２２以外の校正指標１２２を、注目すべき指標として表示させる。
【００２６】
Ｓ３０では、顔検出部２０は、撮像部１０により撮影された被検者の頭部の撮影画像を取得する。この撮影画像は、被検者の目が撮影されたものとなる。
Ｓ４０では、顔検出部２０は、Ｓ３０にて取得した撮影画像から顔を検出する。具体的には、撮影画像から濃淡の変化量などの特徴量を抽出し、予め学習された顔画像及び非顔画像の特徴量と比較することで顔の有無を判定する。撮影画像に顔が撮影されていると判定されれば、同様にして目・鼻・口などの顔器官を抽出する。
【００２７】
なお、顔及び顔器官の抽出方法は特に限定されず、撮影画像から顔及び顔器官を抽出する公知の様々な手法を採用することができる。例えば、（ｉ）顔全体、眼、鼻などを個別に学習し、それぞれ検出する方法、Paul Viola and Michael J. Jones, ”Rapid Object Detection using a Boosted Cascade of Simple Features”, CVPR(2001)、（ｉｉ）顔器官点の配置と濃淡の相関を学習する方法、Cootes, T.F.,Edwards, G. J., Taylor, C. J. “Active Appearance Model”, ECCV(1998)、（ｉｉｉ）鼻の孔のような、顔の中央付近に２つ並んだ黒い塊、などの事前知識を利用する方法、特許第４７６５００８号公報、などが例示される。
【００２８】
Ｓ５０では、頭部姿勢計測部４０は、頭部姿勢を計測する。頭部姿勢計測部４０は、Ｓ４０にて取得された目・鼻・口などの配置から頭部姿勢を計測する。ここでいう頭部姿勢とは、頭部の３次元座標、ｒｏｌｌ角度（以下、ロール角）、ｐｉｔｃｈ角度（以下、ピッチ角）、ｙａｗ角度（以下、ヨー角）などを含む情報である。なお、ロール角は首を傾げる方向の変位量であり、ピッチ角は頷く方向及びその反対方向の変位量であり、ヨー角は首を振る方向の変位量である。本実施形態では、頭部姿勢を、ピッチ角及びヨー角により特定する。
【００２９】
なお、顔器官の位置から頭部姿勢を計測する方法は特に限定されず、頭部姿勢を計測する公知の様々な手法を採用することができる。例えば、３次元モデルとのマッチングにより頭部姿勢を取得することが考えられる。
【００３０】
Ｓ６０では、校正制御部８０は、最後のＳ１０の後から現時点までの頭部姿勢の変動量が所定の閾値未満であるか否かを判断する。Ｓ２０から後述するＳ７０までの処理は、複数回繰り返し実行され、それにより同一の頭部姿勢であるときに異なる複数の校正指標１２２を見た被検者の眼の画像を取得する。仮に頭部姿勢が変動していれば、同一の頭部姿勢において異なる校正指標１２２を見た画像とはならない。そこで、被検者が校正指標１２２を注視する画像を、１つの頭部姿勢における全ての校正指標１２２について取得する前に頭部姿勢が所定の閾値以上変化していれば、画像を撮り直し、校正をやり直す。なお、頭部姿勢が変動してしまうと、後述する補間の精度が低下する。
【００３１】
Ｓ６０において、上記変動量が所定の閾値未満でなければ、処理がＳ１０に戻る。一方、上記変動量が所定の閾値未満であれば、処理がＳ７０に移行する。
Ｓ７０では、視線計測・校正部３０は、上述した公知の手法による視線計測を行う。ここで取得される視線のパラメータは、眼の位置の３次元座標、ピッチ角θ、及びヨー角φである。
【００３２】
Ｓ８０では、校正制御部８０は、Ｓ１０にて提示された頭部姿勢について、予め設定された全ての校正指標１２２を網羅するようにＳ７０までの処理を繰り返し行ったか否かを判定する。全ての校正指標１２２に対して上記処理を行っていれば、処理がＳ９０に移行する。一方、全ての校正指標１２２に対して上記処理が行われていなければ、処理がＳ２０に移行し、これまでに設定された校正指標１２２とは異なる校正指標１２２を提示してＳ７０までの処理を実行する。
【００３３】
Ｓ９０では、校正値算出部６０は、Ｓ７０にて取得した視線と、校正指標１２２の位置から算出される正確な視線と、に基づいて校正値を算出する。
正確な視線とは、Ｓ５０にて取得した頭部姿勢に基づいて算出される眼の位置から校正指標１２２を見たときの視線であって、ピッチ角と、ヨー角をそれぞれθＡ、φＡとする。Ｓ７０にて取得した視線のパラメータをθＢ、φＢとすると、θＡ、φＡは以下の式で表すことができる。
式１：θＡ＝ｐ１・θＢ＋ｐ２
式２：φＡ＝ｐ１・φＢ＋ｐ２
上述したｐ１、ｐ２が校正値である。この校正値は、図６に示される校正値テーブルに登録して保持される。なお、テーブル中のθ１、θ２…は頭部姿勢のピッチ角であり、φ１、φ２…は頭部姿勢のヨー角である。つまり、このテーブルには頭部姿勢に応じた校正値が登録される。
【００３４】
Ｓ１００では、校正値記憶部７０は、Ｓ９０にて算出した校正値を上述した校正値テーブルに登録することによって、メモリ１６により構成される、情報を記憶可能な記憶領域に記憶させて保存する。校正値記憶部７０が、記憶部に相当する。
【００３５】
Ｓ１１０では、校正制御部８０は、予め設定された全ての頭部姿勢を網羅するように、校正値の算出及び保存が繰り返し行われたか否かを判定する。
全ての頭部姿勢に対して上記処理を行っていれば、処理がＳ１２０に移行する。一方、全ての頭部姿勢に対して上記処理が行われていなければ、処理がＳ１０に移行し、図７に示されるように、ランプ１４ａとはことなるランプ、例えばランプ１４ｂを点灯してこれまでとは異なる提示姿勢にてＳ２０以下の処理を繰り返す。図７の例では、図５の例と比べて、頭部のヨー角が変化している。
【００３６】
Ｓ１２０では、個人認証・眼鏡判別部５０は、これまでに撮影した被検者の画像に基づいてメモリ１６に記憶されるデータベースへの顔特徴量の登録を行う。このデータベースには顔器官の特徴量が、生成された校正値テーブルと対応付けて登録される。なお、被検者個人を認証するための具体的な方法は特に限定されない。例えば、被検者の撮影画像そのものを記憶して比較する方法や、顔器官の配置を組み合わせて学習する方法などを用いることもできる。
【００３７】
＜校正処理＞
情報処理装置１１のＣＰＵ１５が実行する校正処理について、図８のフローチャートを用いて説明する。この校正処理は、例えば車両の走行が開始された場合に開始される。
【００３８】
Ｓ２１０では、顔検出部２０は、撮像部１０により撮影された搭乗者の頭部の撮影画像を取得する。
Ｓ２２０では、顔検出部２０は、Ｓ２１０にて取得した撮影画像から顔を検出する。撮影画像に顔が撮影されていると判定されれば、目・鼻・口などの顔器官を抽出する。具体的な処理は校正値算出処理のＳ４０と同様である。
【００３９】
Ｓ２３０では、個人認証・眼鏡判別部５０は、個人認証を行う。ここでは、目・鼻・口などの顔器官周辺において、メモリ１６に記憶されるデータベースに登録された個人毎の特徴量と比較して、登録された被検者の中から視線計測の対象である被検者を特定する。
【００４０】
Ｓ２４０では、校正制御部８０は、Ｓ２３０において個人認証が成功したか否かを判定する。個人認証が成功している場合は、処理がＳ２５０に移行する。一方、個人認証が成功していない場合は、処理がＳ３１０に移行する。
【００４１】
Ｓ２５０では、個人認証・眼鏡判別部５０は、被検者が眼鏡を掛けているか否かを判別する。ここでは、目周辺の画像特徴量を予め登録された眼鏡の特徴量と比較することで眼鏡の状態を判別する。眼鏡の有無を判定する方法は特に限定されず、公知の様々な手法を用いることができる。
【００４２】
Ｓ２６０では、校正制御部８０は、Ｓ２５０において眼鏡判別が成功したか否か、即ち眼鏡を掛けているか否かを判定する。眼鏡判別が成功している場合、即ち眼鏡を掛けている場合は、処理がＳ２７０に移行する。一方、眼鏡判別が成功していない場合、即ち眼鏡を掛けていない場合は、処理がＳ３００に移行する。
【００４３】
Ｓ２７０では、頭部姿勢計測部４０は、頭部姿勢を計測する。具体的な処理は校正値算出処理のＳ５０と同様である。
Ｓ２８０では、校正制御部８０は、メモリ１６に記憶された、Ｓ２４０にて認証された被検者の校正値テーブルから、Ｓ２７０により特定された頭部姿勢に対応する校正値を読み出す。
【００４４】
また頭部姿勢は、上述したように、ピッチ角及びヨー角で示されるが、校正値テーブルにそのピッチ角及びヨー角に合致する校正値がない場合がある。よって、校正値テーブルに登録される値を用いて、頭部姿勢が登録されていないピッチ角及びヨー角の場合に用いる校正値を補間する。補間の方法は特に限定されない。例えば、線形補間を行ってもよいし、最近傍補間を行ってもよい。また、それらを組み合わせてもよい。
【００４５】
Ｓ２９０では、視線計測・校正部３０は、視線計測及び校正を行う。具体的には、まず、Ｓ７０と同様に、公知の手法による視線計測を行い、ピッチ角θと、ヨー角φを算出する。そして、それらの角度θ及びφに対応する、校正値テーブルのパラメータ、又は補間したパラメータを用いて、上述した式１、式２を用いて校正を行う。これにより、誤差を低減した視線を取得することができる。このＳ２９０の後、本処理を終了する。
【００４６】
Ｓ３００では、視線計測・校正部３０は、視線計測及び校正を行う。但し、視線計測はＳ２９０と同様であるが、Ｓ２９０とは異なり、用いる校正値を頭部姿勢ごとに変更することなく、代表的な１つの校正値のみを用いて校正を行う。代表となる校正値は、例えば、被検者が図５のように顔の正面の方向から視線を大きく傾けている場合の値を用いることができるが、これに限られない。
【００４７】
なお、用いる校正値は１つに限定されない。例えば、顔の向く方向が左右や上下のいずれかによって校正値を変更する構成であってもよい。なお、ここで用いられる校正値が、所定の校正値に相当する。
【００４８】
Ｓ３１０では、視線計測・校正部３０は、視線計測を行う。このＳ３１０では、視線の校正は行わない。
［１−３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
【００４９】
（１ａ）本実施形態では、視線計測・校正部３０が、頭部姿勢に応じた校正値を用いる所定の計算式により計測された視線を校正する。よって、頭部姿勢が異なることに起因して生じる誤差を低減することができる。
【００５０】
特に、被検者が眼鏡を掛けている場合には、眼鏡のレンズの屈折によって撮影画像における眼の形状が変化するが、その変化量は頭部姿勢により変化する。そのため、頭部姿勢によって視線計測の誤差が大きくなりやすいという問題があるが、視線計測システム１は、頭部姿勢ごとに準備された校正値を用いて校正を行うことができるため、そのような誤差を低減することができる。
【００５１】
（１ｂ）本実施形態では、被検者が眼鏡を掛けている場合には頭部姿勢に応じた校正値で校正を行う一方、被検者が眼鏡を掛けていない場合には、１つ又は比較的少数の校正値を用いて校正を行う。眼鏡を掛けていない場合は、頭部姿勢に応じた誤差が比較的小さいので、上記視線計測システム１であれば、誤差の増加を抑制しつつ、視線計測システム１の処理負荷の増加を抑制することができる。
【００５２】
（１ｃ）本実施形態では、データベースに登録された被検者ごとの校正値を、個人認証・眼鏡判別部５０の認証結果に基づいて読み出して使用する。よって、被検者それぞれに適切な校正値を用いることができ、また、既に校正値の取得が行われた被検者が校正値を取得するための作業を頻繁に行う必要がなく都合がよい。
【００５３】
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【００５４】
（２ａ）上記実施形態では、校正値を取得する場合には、眼鏡を掛けているか否かを考慮しない構成を例示したが、眼鏡を掛けていないときには頭部姿勢ごとの校正値が必ずしも必要ではないため、眼鏡の有無に応じて取得する校正値が変化するように構成されていてもよい。
【００５５】
図９のフローチャートを用いて、眼鏡の有無に応じて取得する校正値が変化する校正値算出処理について説明する。
本処理において、Ｓ４１０〜Ｓ４６０は、校正処理のＳ２１０〜Ｓ２６０と同様の処理であるため、説明を割愛する。なお、Ｓ４４０において個人認証が成功していないと判定された場合には、本処理を終了する。
【００５６】
Ｓ４６０において、判別が成功していれば、即ち被検者が眼鏡を掛けていると判定されれば、処理がＳ４７０に移行する。一方、判別が成功していなければ、処理がＳ４８０に移行する。
【００５７】
Ｓ４７０では、ＣＰＵ１５は、図３の校正値算出処理のＳ１０〜Ｓ１１０を実行して頭部姿勢ごとの校正値を取得し、その後、処理が終了する。
Ｓ４８０では、ＣＰＵ１５は、図３の校正値算出処理のＳ２０〜Ｓ１００を実行し、その後、処理が終了する。つまり、眼鏡を掛けていない場合は、１つの姿勢についてのみ校正値を取得する。
【００５８】
このような校正値算出処理であれば、被検者が眼鏡を掛けている場合には頭部姿勢ごとに校正値を取得し、被検者が眼鏡を掛けていない場合には１つの頭部姿勢についての校正値を取得することができる。なおＳ４８０においては、２つ以上の頭部姿勢について校正値を取得するように構成されていてもよい。
【００５９】
（２ｂ）上記実施形態では、眼鏡を掛けていない場合には１つ又は少数の校正値を用いて視線の校正を行う構成を例示した。しかしながら、眼鏡を掛けていない場合にも、頭部姿勢ごとに取得された校正値を用いて視線の校正を行ってもよい。その場合には、より高精度な視線校正を行うことができる。また、眼鏡を掛けていない場合には、校正を行わないように構成されていてもよい。
【００６０】
（２ｃ）複数の頭部姿勢の全てについて同じ校正指標を用いて校正値を取得する必要はなく、少なくとも一部の頭部姿勢について、対応する校正指標を他の頭部姿勢の場合と異ならせてもよい。換言すると、頭部姿勢ごとに、測定する校正指標の位置が設定されていてもよい。
【００６１】
例えば、図１０の場合には、被検者から見て最も右側の校正指標１２２は非常に視認しづらいため、このような頭部姿勢で視認する可能性が低いと考えられる。よって、上記の頭部姿勢において上述した校正指標１２２を測定しないことで、被検者の負担の低減、処理負荷の低減、及び校正値の登録に必要な記憶領域の低減を実現することができる。
【００６２】
（２ｄ）上記実施形態では、頭部姿勢の提示を、ランプ１４を用いて実行する構成を例示したが、ディスプレイ１３に表示される特定の表示を用いて実行してもよい。例えば、ディスプレイ１３に頭部姿勢の提示となる画像表示を行ってもよい。この画像表示は、視線校正用の指標と同一の表示であってもよい。
【００６３】
また上記実施形態では、校正指標１２２をディスプレイ１３に表示させる構成を例示したが、ディスプレイ１３以外の要素を用いて校正指標の表示を実現してもよい。例えば、ランプ１４のいずれかを点灯させてその点を校正指標として用いてもよい。また音声により頭部姿勢や校正指標を指示する構成としてもよい。ランプ１４の配置場所や音声による指示を行う場合には、車室内外の既存物体、例えばミラー、インストルメントパネル、シートなどの位置を基準とすることができる。
【００６４】
（２ｅ）上記実施形態では、頭部姿勢を特定するパラメータとして、ピッチ角及びヨー角を用いる構成を例示したが、それら以外のパラメータを用いる構成であってもよい。例えば、頭部や顔器官の３次元座標、ロール角、ピッチ角、ヨー角の少なくとも１つを用いて頭部姿勢を特定することができる。
【００６５】
なお頭部姿勢を特定するパラメータの数が３つ以上になれば、図６のような、２次元の校正値テーブルのみでは全ての校正値を登録できない。よって、例えばロール角、ピッチ角、ヨー角の３つにより頭部姿勢を示す場合には、ロール角ごとに図６のような校正値テーブルを準備することが考えられる。
【００６６】
（２ｆ）上記実施形態では、視線を表すパラメータとして、眼の三次元座標、視線のピッチ角θ及びヨー角φを用いる構成を例示したが、それら以外のパラメータを用いる構成であってもよい。
【００６７】
（２ｇ）上記実施形態においては、公知の手法により撮影画像から視線を検出し、さらに校正のための式と頭部姿勢ごとの校正値を用いて校正を行う構成を例示した。しかしながら、校正された視線を計測する方法は、上記実施形態の構成に限定されない。
【００６８】
例えば、校正に用いる式は、上述した式１、式２に限られず、頭部姿勢に応じた校正値を用いることができる様々な式を適用することができる。
また視線を、視線ベクトルと、例えばディスプレイ１３の表示画面である平面と、の交点の座標で示す場合において、その交点の座標を２次元の平面座標としたときに、上述した式１，２のような１次式で補正をすることも考えられる。
【００６９】
また、画像から視線計測を行う際に用いる計算式と、校正に用いる計算式と、をまとめて１つの計算式としてもよい。この場合にも、頭部姿勢に応じた校正値を用いて計算式を修正することで、頭部姿勢に応じた校正がなされた精度の高い視線を出力することができる。
【００７０】
（２ｈ）図８のＳ２３０において、個人認証・眼鏡判別部５０が被検者を認証できなかったときには、校正値算出処理により校正値を取得することを被検者に促すように構成されていてもよい。具体的には、ディスプレイ１３にその旨を表示したり、スピーカによりその旨を音声出力したりすることが考えられる。
【００７１】
（２ｉ）上記実施形態では、図８のＳ２３０における個人認証では、眼鏡の有無を判別せずに個人認証を行う構成を例示したが、眼鏡を掛けている場合と掛けていない場合とで異なる被検者であるとして扱うように構成されていてもよい。その場合には、図３のＳ１２０にて顔特徴量を登録する際に、眼鏡の有無も合わせて登録するように構成することができる。
【００７２】
（２ｊ）上記実施形態では、予め定められた全ての提示姿勢と全ての校正指標１２２について校正値を算出する構成を例示した。ここで、被検者の負担低減のために、上述したように全ての校正値を算出するモードとは別に、一部の頭部姿勢でのみ校正値を取得すればよい簡易モードを有する構成としてもよい。簡易モードにおいて、実際に取得していない校正値は、既に取得した校正値から推定したり、既に取得した校正値をそのまま用いたりすることが考えられる。
【００７３】
上述した簡易モードを有する構成においては、さらに、被検者又は搭乗者の指示、あるいは視線計測システム１からの提案により、校正値を取得していない頭部姿勢について実際に校正値を取得するように構成することができる。被検者等による指示とは、例えば、校正値取得を開始するスイッチを被検者等が押すことが該当する。このスイッチは、視線検出の精度が低いと被検者等が認識した場合に押すことができる。
【００７４】
また視線計測システム１からの提案とは、例えば、簡易モードで校正値を取得していない頭部姿勢を被検者が取る頻度が高い場合や累積時間が長い場合、又は計測された視線を用いた入力操作のミスの頻度が高い場合などに、視線計測システム１が校正値の取得を促すことが該当する。入力操作のミスの頻度が高い場合とは、例えば、視線により入力操作を行うアプリケーションにおいて、入力をやり直す操作の頻度が高い場合や、入力に掛かる時間が長い場合が該当する。
【００７５】
（２ｋ）校正値算出処理を必要とせず、被検者の運転操作中の動作等に基づいて校正値を取得するように構成されていてもよい。この場合には、被検者がその位置を注視していると想定される位置を校正指標とすることができる。例えば、被検者がスイッチ操作を行ったときのスイッチの位置を構成指標とすることができる。
【００７６】
（２ｌ）本実施形態の視線計測システム１は、車両に搭載される構成を例示したが、車両に搭載されていない場面において用いられるものであってもよい。
（２ｍ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００７７】
（２ｎ）上述した情報処理装置１１の他、当該情報処理装置１１を構成要素とする視線計測システム１、当該情報処理装置１１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、視線校正方法など、種々の形態で本発明を実現することもできる。
【符号の説明】
【００７８】
１０…撮像部、１１…情報処理装置、３０…視線計測・校正部、４０…頭部姿勢計測部
【図１】
2018010465.tif 000003
【図２】
2018010465.tif 000004
【図３】
2018010465.tif 000005
【図４】
2018010465.tif 000006
【図５】
2018010465.tif 000007
【図６】
2018010465.tif 000008
【図７】
2018010465.tif 000009
【図８】
2018010465.tif 000010
【図９】
2018010465.tif 000011
【図１０】
2018010465.tif 000012