(57)【要約】検出部（１２０）は、撮像部（１１０）によって撮像された被測定者Ａの画像から頭部姿勢および視線方向を検出し、生成部（１３０）は、検出部（１２０）により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部（１４０）は、所定の頭部姿勢を基準姿勢とし、基準姿勢に対する視線方向分布を較正する較正パラメータを算出し、補正部（１５０）は、較正部（１４０）が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。これにより、頭部姿勢が変化することによって較正がずれることの影響を低減することができる。
2015136908.tif 000002
【特許請求の範囲】
【請求項１】
被測定者を撮像する撮像部と、
前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
前記頭部姿勢の中から１つ以上の基準姿勢を選択し、前記基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、
前記較正部が算出した前記較正パラメータを用いて、前記基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部と、
を備える視線検出装置。
【請求項２】
前記補正部は、前記基準姿勢以外の頭部姿勢に対する視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、前記補正パラメータを用いて補正した後、前記較正パラメータを用いて補正することを特徴とする、請求項１に記載の視線検出装置。
【請求項３】
前記補正部は、前記基準姿勢以外の頭部姿勢に対する視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記較正パラメータを前記補正パラメータで補正した後、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて補正することを特徴とする、請求項１に記載の視線検出装置。
【請求項４】
前記補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、前記基準姿勢に対する視線方向分布の重心に重ねる変換を行うことを特徴とする、請求項３に記載の視線検出装置。
【請求項５】
前記較正部は、既知の視線方向を表す基準点と、前記基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付けることを特徴とする、請求項１から４に記載の視線検出装置。
【請求項６】
前記較正部は、最も頻度の高い頭部姿勢を前記基準姿勢とすることを特徴とする、請求項１から５に記載の視線検出装置。
【請求項７】
前記生成部は、前記視線方向の時間変化に応じた重み付けを行い、前記重み付けを考慮した視線方向分布を生成することを特徴とする、請求項１から６に記載の視線検出装置。
【請求項８】
被測定者を撮像する撮像部と、
前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
前記頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出する較正部と、
前記較正部が算出した前記頭部姿勢毎の較正パラメータのうち、前記検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する補正部と、
を備える視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮影された顔画像から被写体の視線方向を検出する視線検出装置に係り、特にキャリブレーション実施時の姿勢と実際の使用時の姿勢の違いによって生じる影響を低減する技術に関する。
【背景技術】
【０００２】
視線方向を検出するための方法として、被測定者の目に赤外光を投射し、プルキニエ像と呼ばれる角膜上に出来る赤外光の反射像と瞳孔中心の位置関係から視線方向を検出する角膜反射法が広く用いられている。しかし、画像による視線方向の検出は、角膜の形状や厚さといった個人差や、眼鏡やコンタクトレンズといった装具の影響を受ける。【０００３】
眼鏡などの装具の形状や材質によっては角度ごとに屈折の影響が異なる場合がある。そのような場合には頭部姿勢が変化するたび、ひいては装具を着脱するたびにキャリブレーションを行った状態と異なる状態になるために、その都度キャリブレーションが必要となり、被測定者にかかる負担が大きい。【０００４】
特許文献１では、キャリブレーションをやり直す際に、通常のキャリブレーション過程では複数の標準点を注視する必要があるところを、いずれか一点の標準点のみを注視して全体の誤差を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特許公開２００１−１３４３７１号公報
【発明の概要】
【０００６】
本開示における視線検出装置は、被測定者を撮像する撮像部と、撮像部によって撮影された画像から被測定者の頭部姿勢および視線方向を検出する視線方向検出部と、検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、頭部姿勢の中から１つ以上の基準姿勢を選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部とを備える。
【０００７】
この構成により、頭部姿勢の変化による影響を自動的に補正することを可能とする視線検出装置を提供する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施の形態１における視線検出装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における生成部の動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における較正部の動作を示すフローチャートである。
【図５】図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。
【図６】図６は、基準点と参照点の例を示す模式図である。
【図７】図７は、本発明の実施の形態１における補正部の動作の一例を示すフローチャートである。
【図８】図８は、補正処理の例を示す模式図である。
【図９】図９は、本発明の実施の形態１における補正部の他の動作の一例を示すフローチャートである。
【図１０】図１０は、実施の形態２における視線検出装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
図１は、実施の形態１における視線検出装置の構成を示すブロック図である。
【００１３】
視線検出装置１００は、撮像部１１０、検出部１２０、生成部１３０、較正部１４０、補正部１５０、メモリ１６０、とを備える。
【００１４】
撮像部１１０は、被測定者Ａを撮像する。撮像部１１０は、ビデオカメラや照明などから構成される。なお、ビデオカメラの台数は１台ないしは２台以上であっても構わない。また、撮像部１１０は、被測定者Ａの顔をできるだけ正面に近い方向から撮影できる場所であれば、どこに設置しても構わない。
【００１５】
検出部１２０は、撮像部１１０によって撮影された画像から被測定者Ａの頭部姿勢と視線方向を検出する。検出部１２０は、例えば、ＤＳＰやマイコンなどのハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現できる。
【００１６】
生成部１３０は、検出部１２０により検出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する。
【００１７】
較正部１４０は、生成部１３０が生成した頭部姿勢ごとの視線方向分布のうち、１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する。基準姿勢には、例えば、最も頻度の高い頭部姿勢を選択する。
【００１８】
補正部１５０は、較正部１４０が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
【００１９】
メモリ１６０は検出部１２０のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。
【００２０】
［１−２．動作］
以上のように構成された視線検出装置１００について、その動作を以下説明する。
【００２１】
図２は実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
【００２２】
まず初めに、撮像部１１０は被測定者Ａの画像を撮影する（ステップＳ２０１）。
【００２３】
次いで、検出部１２０は、撮影された画像から、被測定者Ａの頭部姿勢および視線方向を算出する（ステップＳ２０２）。
【００２４】
頭部姿勢は、例えば目尻、目頭、口角といった顔の特徴点をテンプレートマッチングや統計的パターン認識などの手段で算出し、それらの特徴点の３次元位置を求めることで算出する。また、特徴点の３次元位置の測定はステレオ法など画像そのものを利用する方法や、測距センサを別途用意するなど複数の手段から選択してもよい。あるいはここに記載していない一般的な手法を用いて頭部姿勢を算出してもよい。
【００２５】
視線方向の算出は、左右の瞳孔位置の中点と顔の中心面との位置関係に基づいて視線方向を算出する方法を用いてもよい。また、角膜に投射した赤外光の反射像とそれぞれの目の瞳孔中心との位置関係に基づいて視線方向を算出する角膜反射法や瞳孔角膜反射法など公知の手法を用いてもよい。
【００２６】
次に、生成部１３０は、検出部１２０より算出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する（ステップＳ２０３）。視線方向分布の生成方法については後述する。分布の形態としては正規混合分布のような確率分布やヒストグラム、あるいはクラスタリング後のクラスタ中心とそのクラスタに含まれるデータ数、または視線方向の生データそのものなどが考えられる。
【００２７】
なお、視線方向分布を切り替える頭部姿勢の最小単位については理論上特に制限はない。しかし、最小単位が細かいと、切り替えが頻繁に発生するため、各視線方向分布に十分なデータが集まらない可能性がある。逆に、最小単位が粗いと変化への細かい対応が難しくなる。従って、最適な値は被測定者の特性などに応じて経験的に決めることが望ましい。
【００２８】
また、視線方向分布の切り替えはある特定の頭部姿勢の範囲では細かく、また別の範囲では粗く、というような不均一なものであってもよい。
【００２９】
較正部１４０は、正面など１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布に対して較正を行い、較正パラメータを算出する（ステップＳ２０４）。
【００３０】
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ２０５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。較正をやり直さない場合、補正部１５０は、較正部１４０が算出した較正パラメータを用いて基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正処理を行う（ステップＳ２０６）。
【００３１】
［１−２−１視線方向分布の生成］
以下、生成部１３０の動作について、図３を参照しながら説明する。図３は、実施の形態１における生成部の動作を示すフローチャートである。
【００３２】
実施の形態１では、視線方向分布の生成方法として、視線方向データが１つ得られるたびにオンラインクラスタリングによってクラスタリングを行う方法を一例として説明する。なお、入力される視線方向データＸは２次元のベクトルＸ＝（ｘ，ｙ）、クラスタＣｉはその中心を表す２次元ベクトルＣｃｉ＝（ｃｘｉ，ｃｙｉ）およびクラスタに属するデータの数Ｎｉとして表現する。ここで、ｉは自然数である。
【００３３】
初めに視線方向データＸが入力されると、生成部１３０は、現在、クラスタが存在しているかどうかを判定し（ステップＳ３０１）、クラスタが存在していないと判定した場合、入力された視線方向データＸを中心とする新たなクラスタＣｎｅｗを生成して処理を終了する（ステップＳ３０５）。
【００３４】
生成部１３０は、ステップＳ３０１において、クラスタが存在すると判定した場合、視線方向データＸがあるクラスタＣｉに加わった時に、クラスタＣｉの中心が移動する量ΔＤｉを（数１）を算出する（ステップＳ３０２）。
【００３５】
【数１】
2015136908.tif 000003
【００３６】
生成部１３０は、全てのクラスタＣｉについてΔＤｉ求め、ΔＤｉが最小となるクラスタＣｉｍｉｎを定めるとともに、この時のΔＤｉの最小値ｍｉｎΔＤｉを算出する（ステップＳ３０３）。
【００３７】
生成部１３０は、ｍｉｎΔＤｉが予め定められた閾値Ｔｈを上回り、かつクラスタ数が予め定められた上限に達していないかどうかを判定する（ステップＳ３０４）。生成部１３０は、上記条件を全て満たすと判定した場合はステップＳ３０５に進み、入力された視線方向データＸを中心とする新たなクラスタを生成して処理を終了する。生成部１３０は、ステップＳ３０４で、条件を全て満たさないと判定した場合は次のステップに進む。
【００３８】
生成部１３０は、既存のクラスタＣｉとＣｊを統合した際に、ＣｉとＣｊのクラスタ中心が移動する量ΔＤｉｊを（数２）を用いて求める（ステップＳ３０６）。
【００３９】
【数２】
2015136908.tif 000004
【００４０】
生成部１３０は、存在する全てのクラスタの組に対してΔＤｉｊを算出し、ΔＤｉｊが最小となるクラスタの組Ｃｉｍｉｎ、Ｃｊｍｉｎを定めるとともに、この時のΔＤｉｊの最小値ｍｉｎΔＤｉｊを求める（ステップＳ３０７）。
【００４１】
最後に、生成部１３０は、ステップＳ３０３で求めたｍｉｎΔＤｉと、ステップＳ３０７で求めたｍｉｎΔＤｉｊの大小を比較し（ステップＳ３０８）、ｍｉｎΔＤｉｊの方が小さい場合はクラスタＣｉｍｉｎとＣｊｍｉｎを併合し、入力データＸを中心とする新たなクラスタを生成する（ステップＳ３０９）。クラスタＣｉとＣｊを併合してできる新たなクラスタＣｉ’はクラスタ中心が（数３）で表す値となり、属するデータの数はＮｉｍｉｎ＋Ｎｊｍｉｎとなる。
【００４２】
【数３】
2015136908.tif 000005
【００４３】
一方、生成部１３０は、ステップ３０８において、ｍｉｎΔＤｉの方が小さいと判定した場合は、入力された視線方向データＸをクラスタＣｉｍｉｎに加える（ステップＳ３１０）。クラスタＣｉｍｉｎの中心は（数４）で表す値となり、属するデータの数はＮｉｍｉｎ＋１となる。
【００４４】
【数４】
2015136908.tif 000006
【００４５】
なお、２次元ベクトルの実際の意味は（１）視線方向の水平、垂直方向の角度、（２）被測定者Ａから所定の距離だけ離れたところに注視面を仮定し、その注視面上における注視点の座標、の２つが考えられるが、上記の手順はそのどちらにも適用可能である。
【００４６】
また、上記においてはクラスタ数に上限を設けているが、上限を設けないことも可能である。この場合はステップＳ３０４の判定で常に条件を満たさないものと考えることが出来る。
【００４７】
［１−２−２較正処理］
以下、較正部１４０の動作について図４〜図６を参照しながら説明する。
【００４８】
図４は、実施の形態１における較正部１４０の動作を示すフローチャートである。図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。図６は、基準点と参照点の一例を示す模式図である。
【００４９】
まず初めに、較正部１４０は、正面など所定の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布の中から、予め定められている基準点と同じ数の参照点を選ぶ（ステップＳ４０１）。ここで、基準点は、既知の方向や注視点の位置からなる１つ以上の点である。参照点は基準点と同じ数だけ選択する。参照点の選び方は視線方向分布がどのような形式であるかに依存する。例えば視線方向分布が正規混合分布で表現される場合は、初めから参照点と同じ数の正規分布で表現しておけば各正規分布のピーク位置が自ずと参照点となる。
【００５０】
また、視線方向分布がヒストグラムで表現される場合は、度数の高い視線方向を参照点として選ぶなどの方法が考えられる。視線方向分布が生データやそれをクラスタリングしたものとして表現される場合は、参照点と同じ数のクラスタになるまでクラスタリングを行い、各クラスタ中心を参照点として選ぶなどの方法が考えられる。
【００５１】
次に、較正部１４０は、参照点の位置関係を判断し、各参照点をどの基準点に対応づけるべきかを定める（ステップＳ４０２）。位置関係の判断方法として、例えば最も頻度が高いなど特定の条件を満たす点は常に特定の基準点に対応づけると仮定し、他の参照点は最初の参照点との位置関係を調べて適切な基準点に対応づける、という方法が考えられる。
【００５２】
また図５のように。参照点を囲む外接矩形を定義し、外接矩形内の相対位置を基準とするなどの方法が考えられる。図５では、５つの参照点５０１〜５０５を囲む外接矩形Ｂを定義している。この場合、参照点５０１〜５０５の位置関係を判断し、参照点５０１〜５０４を、参照点５０５に対応付けて定める。
【００５３】
較正部１４０は、参照点の位置関係が定まると、基準点と参照点を対応付けるための変換パラメータとなる較正パラメータを算出する（ステップＳ４０３）。較正部１４０は、図６で示すように、基準点６０１〜６０５と参照点５０１〜５０５とを関係付け、参照点５０１〜５０５を各々基準点６０１〜６０５に近づけるような較正パラメータを算出する。
【００５４】
以下、変換例として（数５）を用いて説明するが、これ以外の変換式を用いてもよい。
【００５５】
【数５】
2015136908.tif 000007
【００５６】
ここで、（ｘ，ｙ）は変換前の視線方向、（ｘ’，ｙ’）は変換後の視線方向を表す。ａからｆは較正パラメータである。パラメータを決定する方法として、例えば最小二乗法を用いることが出来る。具体的にはｋ個の基準点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…（Ｘｋ，Ｙｋ）と参照点（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘｋ，ｙｋ）がある時に（数６）の値を最小化するパラメータを算出する。
【００５７】
【数６】
2015136908.tif 000008
【００５８】
この場合、較正パラメータは（数６）を各パラメータについて偏微分したものを０と置いてできる連立方程式を解くことで求めることができる。
【００５９】
［１−２−３．補正処理］
以下、補正部の動作について図７、図８を参照しながら説明する。図７は実施の形態１における補正部の動作の一例を示すフローチャートである。図８は、補正処理の例を示す模式図である。補正部１５０は、頭部姿勢ごとに異なる較正パラメータの影響を打ち消すための変換処理を行う。
【００６０】
まず初めに、補正部１５０は、較正部１４０により選択された基準姿勢に対する視線方向分布から１つ以上の基準点を選ぶ（ステップＳ７０１）。
【００６１】
次に、補正部１５０は、補正対象の視線方向分布から、基準点と同じ数の参照点を選ぶ（ステップＳ７０２）。補正部１５０は、較正パラメータを算出する処理と同じように基準点と参照点の位置関係を定め（ステップＳ７０３）、基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ７０４）。
【００６２】
ここで、ステップＳ７０３およびＳ７０４についてはそれぞれＳ４０２、Ｓ４０３と同様の方法を用いることが出来る。例えば視線方向分布の重心を基準点として選んだ場合、図８のように補正対象（基準姿勢以外の頭部姿勢）の視線方向分布８０１の重心８０２を基準姿勢に対する視線方向分布８０３の重心８０４に重ねる変換を行うための補正パラメータを算出する。
【００６３】
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を基準姿勢に対する視線方向分布に近づけるよう補正した後（ステップＳ７０５）、較正部１４０が算出した較正パラメータを用いて、各参照点を較正する（ステップＳ７０６）。
【００６４】
以上のように、補正部１５０は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、算出した補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
【００６５】
［１−２−４．補正処理の他の例］
以下、補正処理の他の一例について図面を参照しながら説明する。図９は実施の形態１における補正部の他の動作の一例をフローチャートである。なお、図９において、図７と同じ動作のステップには同符号を付与し、説明を省略する。
【００６６】
図７と異なる点はステップＳ７０２の後で、較正部１４０が算出した較正パラメータを用いて、基準点を較正し（ステップＳ９０３）、較正された基準点と参照点の位置関係を求める（ステップＳ９０４）。その後、較正された基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ９０５）。
【００６７】
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を較正された基準姿勢に対する視線方向分布に近づけるよう補正する（ステップＳ９０６）。
【００６８】
ここで、補正部１５０は、較正済みの基準点に対して補正処理を行っている。すなわち、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
【００６９】
［３．まとめ］
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢の中から基準姿勢を選択し、基準姿勢に対する視線方向分布を較正して、較正パラメータを算出し、補正部１５０は、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
【００７０】
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。
【００７１】
また、補正部は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
【００７２】
なお、補正部は、基準姿勢以外の頭部姿勢の視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、較正パラメータを補正パラメータで補正した後、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて較正してもよい。
【００７３】
これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。この場合、補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、基準姿勢に対する視線方向分布の重心に重ねる変換を行ってもよい。
【００７４】
なお、補正部は、基準姿勢に対する視線方向分布を較正パラメータを用いて較正し、基準姿勢以外の頭部姿勢の視線方向分布を較正された基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出してもよい。これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
【００７５】
また、較正部は、既知の視線方向を表す基準点と、基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付ける。較正部は、最も頻度の高い頭部姿勢を基準姿勢としてもよい。
【００７６】
また、基準姿勢は複数であってもよい。この場合、較正部は複数の基準姿勢のそれぞれについて較正パラメータを算出し、補正部は複数の基準姿勢のいずれか（例えば検出された頭部姿勢に最も近いものなど）を用いて処理を行う。
【００７７】
（実施の形態２）
以下、図１０を用いて、実施の形態２を説明する。なお、実施の形態１における視線検出装置の構成は実施の形態１の視線検出装置の構成と同様であるため、説明を省略する。
【００７８】
［２―１動作］
図１０は実施の形態２における視線検出装置の処理の流れを示すフローチャートである。なお、図１０において、図３と同じ動作のステップには同符号を付与し、説明を省略する。
【００７９】
図３と異なるのはステップＳ１００４以降で、較正部１４０は各頭部姿勢に対する視線方向分布のそれぞれについて、視線方向分布を較正するための較正パラメータを算出する（ステップＳ１００４）。
【００８０】
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ１００５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。
【００８１】
なお、ステップＳ１００５において、較正部１４０はある特定の１つ以上の頭部姿勢に対する較正パラメータに対してのみ精度の判定を行うようにしてもよい。このようにすることで、視線方向分布に含まれるデータ数が少なく、較正パラメータの精度が悪くなりやすい頭部姿勢の影響を無視して処理を進めることが可能となる。
【００８２】
較正をやり直さない場合、補正部１５０は検出部１２０によって検出された頭部姿勢に対する較正パラメータを用いて、視線方向分布を補正する（ステップＳ１００６）。
【００８３】
なお、ステップＳ１００６において、ステップＳ１００５の処理によっては検出された頭部姿勢に対する較正パラメータがまだ求められていない場合がありえる。この場合は補正を行わないか、仮の較正パラメータ（例えば数式５においてａ＝１、ｂ＝０、ｃ＝０、ｄ＝０、ｅ＝１、ｆ＝０とすると元の視線方向分布を変化させない）によって補正を行うようにしてもよい。
【００８４】
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出し、補正部１５０は、較正部が算出した頭部姿勢毎の較正パラメータのうち、検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する。
【００８５】
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。実施の形態１においては、基準姿勢に対してのみ較正パラメータを算出したが、実施の形態２においては、各頭部姿勢毎に較正パラメータを算出し、それを補正部で直接使用している点が異なる。
【００８６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８７】
そこで、以下、他の実施の形態を例示する。
【００８８】
例えば視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行ってもよい。これによって、例えば視線方向の検出が不安定になりやすい視線移動中の状態は重みを低くして、より正確な視線方向分布を得ることが出来る。あるいは視線方向の時間変化が所定の大きさを下回るもののみを用いて視線方向分布を生成してもよい。これによっても同様の効果を得ることが出来る。
【００８９】
上記の例では視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行う例について説明したが、代わりに較正パラメータや補正パラメータを算出する際の基準点や参照点を選ぶ際に重みを考慮してこれらの点を選ぶようにしてもよい。先述の例と同じように、これによって不安定な状態を避けてより正確な代表点や参照点の位置を得ることが出来る。
【００９０】
また、上記実施の形態で説明した視線検出装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００９１】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００９３】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００９４】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００９５】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９８】
本開示は、画像に基づいて被測定者の視線方向を検出する視線検出装置に有用である。
【符号の説明】
【００９９】
１００    視線検出装置
１１０    撮像部
１２０    検出部
１３０    生成部
１４０    較正部
１５０    補正部
１６０    メモリ
【図１】
2015136908.tif 000009
【図２】
2015136908.tif 000010
【図３】
2015136908.tif 000011
【図４】
2015136908.tif 000012
【図５】
2015136908.tif 000013
【図６】
2015136908.tif 000014
【図７】
2015136908.tif 000015
【図８】
2015136908.tif 000016
【図９】
2015136908.tif 000017
【図１０】
2015136908.tif 000018
【手続補正書】
【提出日】平成27年11月17日(2015.11.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮影された顔画像から被写体の視線方向を検出する視線検出装置に係り、特にキャリブレーション実施時の姿勢と実際の使用時の姿勢の違いによって生じる影響を低減する技術に関する。
【背景技術】
【０００２】
視線方向を検出するための方法として、被測定者の目に赤外光を投射し、プルキニエ像と呼ばれる角膜上に出来る赤外光の反射像と瞳孔中心の位置関係から視線方向を検出する角膜反射法が広く用いられている。しかし、画像による視線方向の検出は、角膜の形状や厚さといった個人差や、眼鏡やコンタクトレンズといった装具の影響を受ける。
【０００３】
眼鏡などの装具の形状や材質によっては角度ごとに屈折の影響が異なる場合がある。そのような場合には頭部姿勢が変化するたび、ひいては装具を着脱するたびにキャリブレーションを行った状態と異なる状態になるために、その都度キャリブレーションが必要となり、被測定者にかかる負担が大きい。
【０００４】
特許文献１では、キャリブレーションをやり直す際に、通常のキャリブレーション過程では複数の標準点を注視する必要があるところを、いずれか一点の標準点のみを注視して全体の誤差を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本国特許公開２００１−１３４３７１号公報
【発明の概要】
【０００６】
本開示における視線検出装置は、被測定者を撮像する撮像部と、撮像部によって撮影された画像から被測定者の頭部姿勢および視線方向を検出する視線方向検出部と、検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、頭部姿勢の中から１つ以上の基準姿勢を選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する較正部と、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正部とを備える。
【０００７】
この構成により、頭部姿勢の変化による影響を自動的に補正することを可能とする視線検出装置を提供する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の実施の形態１における視線検出装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における生成部の動作を示すフローチャートである。
【図４】図４は、本発明の実施の形態１における較正部の動作を示すフローチャートである。
【図５】図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。
【図６】図６は、基準点と参照点の例を示す模式図である。
【図７】図７は、本発明の実施の形態１における補正部の動作の一例を示すフローチャートである。
【図８】図８は、補正処理の例を示す模式図である。
【図９】図９は、本発明の実施の形態１における補正部の他の動作の一例を示すフローチャートである。
【図１０】図１０は、実施の形態２における視線検出装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
（実施の形態１）
以下、図１〜９を用いて、実施の形態１を説明する。
【００１２】
［１−１．構成］
図１は、実施の形態１における視線検出装置の構成を示すブロック図である。
【００１３】
視線検出装置１００は、撮像部１１０、検出部１２０、生成部１３０、較正部１４０、補正部１５０、メモリ１６０、とを備える。
【００１４】
撮像部１１０は、被測定者Ａを撮像する。撮像部１１０は、ビデオカメラや照明などから構成される。なお、ビデオカメラの台数は１台ないしは２台以上であっても構わない。また、撮像部１１０は、被測定者Ａの顔をできるだけ正面に近い方向から撮影できる場所であれば、どこに設置しても構わない。
【００１５】
検出部１２０は、撮像部１１０によって撮影された画像から被測定者Ａの頭部姿勢と視線方向を検出する。検出部１２０は、例えば、ＤＳＰやマイコンなどのハードウェア、またはハードウェアとソフトウェアの組み合わせによって実現できる。
【００１６】
生成部１３０は、検出部１２０により検出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する。
【００１７】
較正部１４０は、生成部１３０が生成した頭部姿勢ごとの視線方向分布のうち、１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布を用いて、較正パラメータを算出する。基準姿勢には、例えば、最も頻度の高い頭部姿勢を選択する。
【００１８】
補正部１５０は、較正部１４０が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
【００１９】
メモリ１６０は検出部１２０のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。
【００２０】
［１−２．動作］
以上のように構成された視線検出装置１００について、その動作を以下説明する。
【００２１】
図２は実施の形態１における視線検出装置の処理の流れを示すフローチャートである。
【００２２】
まず初めに、撮像部１１０は被測定者Ａの画像を撮影する（ステップＳ２０１）。
【００２３】
次いで、検出部１２０は、撮影された画像から、被測定者Ａの頭部姿勢および視線方向を算出する（ステップＳ２０２）。
【００２４】
頭部姿勢は、例えば目尻、目頭、口角といった顔の特徴点をテンプレートマッチングや統計的パターン認識などの手段で算出し、それらの特徴点の３次元位置を求めることで算出する。また、特徴点の３次元位置の測定はステレオ法など画像そのものを利用する方法や、測距センサを別途用意するなど複数の手段から選択してもよい。あるいはここに記載していない一般的な手法を用いて頭部姿勢を算出してもよい。
【００２５】
視線方向の算出は、左右の瞳孔位置の中点と顔の中心面との位置関係に基づいて視線方向を算出する方法を用いてもよい。また、角膜に投射した赤外光の反射像とそれぞれの目の瞳孔中心との位置関係に基づいて視線方向を算出する角膜反射法や瞳孔角膜反射法など公知の手法を用いてもよい。
【００２６】
次に、生成部１３０は、検出部１２０より算出された頭部姿勢および視線方向から、頭部姿勢ごとの視線方向分布を生成する（ステップＳ２０３）。視線方向分布の生成方法については後述する。分布の形態としては正規混合分布のような確率分布やヒストグラム、あるいはクラスタリング後のクラスタ中心とそのクラスタに含まれるデータ数、または視線方向の生データそのものなどが考えられる。
【００２７】
なお、視線方向分布を切り替える頭部姿勢の最小単位については理論上特に制限はない。しかし、最小単位が細かいと、切り替えが頻繁に発生するため、各視線方向分布に十分なデータが集まらない可能性がある。逆に、最小単位が粗いと変化への細かい対応が難しくなる。従って、最適な値は被測定者の特性などに応じて経験的に決めることが望ましい。
【００２８】
また、視線方向分布の切り替えはある特定の頭部姿勢の範囲では細かく、また別の範囲では粗く、というような不均一なものであってもよい。
【００２９】
較正部１４０は、正面など１つ以上の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布に対して較正を行い、較正パラメータを算出する（ステップＳ２０４）。
【００３０】
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ２０５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。較正をやり直さない場合、補正部１５０は、較正部１４０が算出した較正パラメータを用いて基準姿勢以外の頭部姿勢に対する視線方向分布を補正する補正処理を行う（ステップＳ２０６）。
【００３１】
［１−２−１視線方向分布の生成］
以下、生成部１３０の動作について、図３を参照しながら説明する。図３は、実施の形態１における生成部の動作を示すフローチャートである。
【００３２】
実施の形態１では、視線方向分布の生成方法として、視線方向データが１つ得られるたびにオンラインクラスタリングによってクラスタリングを行う方法を一例として説明する。なお、入力される視線方向データＸは２次元のベクトルＸ＝（ｘ，ｙ）、クラスタＣｉはその中心を表す２次元ベクトルＣｃｉ＝（ｃｘｉ，ｃｙｉ）およびクラスタに属するデータの数Ｎｉとして表現する。ここで、ｉは自然数である。
【００３３】
初めに視線方向データＸが入力されると、生成部１３０は、現在、クラスタが存在しているかどうかを判定し（ステップＳ３０１）、クラスタが存在していないと判定した場合、入力された視線方向データＸを中心とする新たなクラスタＣｎｅｗを生成して処理を終了する（ステップＳ３０５）。
【００３４】
生成部１３０は、ステップＳ３０１において、クラスタが存在すると判定した場合、視線方向データＸがあるクラスタＣｉに加わった時に、クラスタＣｉの中心が移動する量ΔＤｉを（数１）を算出する（ステップＳ３０２）。
【００３５】
【数１】
2015136908.tif 000019
【００３６】
生成部１３０は、全てのクラスタＣｉについてΔＤｉ求め、ΔＤｉが最小となるクラスタＣｉｍｉｎを定めるとともに、この時のΔＤｉの最小値ｍｉｎΔＤｉを算出する（ステップＳ３０３）。
【００３７】
生成部１３０は、ｍｉｎΔＤｉが予め定められた閾値Ｔｈを上回り、かつクラスタ数が予め定められた上限に達していないかどうかを判定する（ステップＳ３０４）。生成部１３０は、上記条件を全て満たすと判定した場合はステップＳ３０５に進み、入力された視線方向データＸを中心とする新たなクラスタを生成して処理を終了する。生成部１３０は、ステップＳ３０４で、条件を全て満たさないと判定した場合は次のステップに進む。
【００３８】
生成部１３０は、既存のクラスタＣｉとＣｊを統合した際に、ＣｉとＣｊのクラスタ中心が移動する量ΔＤｉｊを（数２）を用いて求める（ステップＳ３０６）。
【００３９】
【数２】
2015136908.tif 000020
【００４０】
生成部１３０は、存在する全てのクラスタの組に対してΔＤｉｊを算出し、ΔＤｉｊが最小となるクラスタの組Ｃｉｍｉｎ、Ｃｊｍｉｎを定めるとともに、この時のΔＤｉｊの最小値ｍｉｎΔＤｉｊを求める（ステップＳ３０７）。
【００４１】
最後に、生成部１３０は、ステップＳ３０３で求めたｍｉｎΔＤｉと、ステップＳ３０７で求めたｍｉｎΔＤｉｊの大小を比較し（ステップＳ３０８）、ｍｉｎΔＤｉｊの方が小さい場合はクラスタＣｉｍｉｎとＣｊｍｉｎを併合し、入力データＸを中心とする新たなクラスタを生成する（ステップＳ３０９）。クラスタＣｉとＣｊを併合してできる新たなクラスタＣｉ’はクラスタ中心が（数３）で表す値となり、属するデータの数はＮｉｍｉｎ＋Ｎｊｍｉｎとなる。
【００４２】
【数３】
2015136908.tif 000021
【００４３】
一方、生成部１３０は、ステップ３０８において、ｍｉｎΔＤｉの方が小さいと判定した場合は、入力された視線方向データＸをクラスタＣｉｍｉｎに加える（ステップＳ３１０）。クラスタＣｉｍｉｎの中心は（数４）で表す値となり、属するデータの数はＮｉｍｉｎ＋１となる。
【００４４】
【数４】
2015136908.tif 000022
【００４５】
なお、２次元ベクトルの実際の意味は（１）視線方向の水平、垂直方向の角度、（２）被測定者Ａから所定の距離だけ離れたところに注視面を仮定し、その注視面上における注視点の座標、の２つが考えられるが、上記の手順はそのどちらにも適用可能である。
【００４６】
また、上記においてはクラスタ数に上限を設けているが、上限を設けないことも可能である。この場合はステップＳ３０４の判定で常に条件を満たさないものと考えることが出来る。
【００４７】
［１−２−２較正処理］
以下、較正部１４０の動作について図４〜図６を参照しながら説明する。
【００４８】
図４は、実施の形態１における較正部１４０の動作を示すフローチャートである。図５は、参照点の位置関係を定める際の外接矩形を示す模式図である。図６は、基準点と参照点の一例を示す模式図である。
【００４９】
まず初めに、較正部１４０は、正面など所定の頭部姿勢を基準姿勢として選択し、基準姿勢に対する視線方向分布の中から、予め定められている基準点と同じ数の参照点を選ぶ（ステップＳ４０１）。ここで、基準点は、既知の方向や注視点の位置からなる１つ以上の点である。参照点は基準点と同じ数だけ選択する。参照点の選び方は視線方向分布がどのような形式であるかに依存する。例えば視線方向分布が正規混合分布で表現される場合は、初めから参照点と同じ数の正規分布で表現しておけば各正規分布のピーク位置が自ずと参照点となる。
【００５０】
また、視線方向分布がヒストグラムで表現される場合は、度数の高い視線方向を参照点として選ぶなどの方法が考えられる。視線方向分布が生データやそれをクラスタリングしたものとして表現される場合は、参照点と同じ数のクラスタになるまでクラスタリングを行い、各クラスタ中心を参照点として選ぶなどの方法が考えられる。
【００５１】
次に、較正部１４０は、参照点の位置関係を判断し、各参照点をどの基準点に対応づけるべきかを定める（ステップＳ４０２）。位置関係の判断方法として、例えば最も頻度が高いなど特定の条件を満たす点は常に特定の基準点に対応づけると仮定し、他の参照点は最初の参照点との位置関係を調べて適切な基準点に対応づける、という方法が考えられる。
【００５２】
また図５のように。参照点を囲む外接矩形を定義し、外接矩形内の相対位置を基準とするなどの方法が考えられる。図５では、５つの参照点５０１〜５０５を囲む外接矩形Ｂを定義している。この場合、参照点５０１〜５０５の位置関係を判断し、参照点５０１〜５０４を、参照点５０５に対応付けて定める。
【００５３】
較正部１４０は、参照点の位置関係が定まると、基準点と参照点を対応付けるための変換パラメータとなる較正パラメータを算出する（ステップＳ４０３）。較正部１４０は、図６で示すように、基準点６０１〜６０５と参照点５０１〜５０５とを関係付け、参照点５０１〜５０５を各々基準点６０１〜６０５に近づけるような較正パラメータを算出する。
【００５４】
以下、変換例として（数５）を用いて説明するが、これ以外の変換式を用いてもよい。
【００５５】
【数５】
2015136908.tif 000023
【００５６】
ここで、（ｘ，ｙ）は変換前の視線方向、（ｘ’，ｙ’）は変換後の視線方向を表す。ａからｆは較正パラメータである。パラメータを決定する方法として、例えば最小二乗法を用いることが出来る。具体的にはｋ個の基準点（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、…（Ｘｋ，Ｙｋ）と参照点（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘｋ，ｙｋ）がある時に（数６）の値を最小化するパラメータを算出する。
【００５７】
【数６】
2015136908.tif 000024
【００５８】
この場合、較正パラメータは（数６）を各パラメータについて偏微分したものを０と置いてできる連立方程式を解くことで求めることができる。
【００５９】
［１−２−３．補正処理］
以下、補正部の動作について図７、図８を参照しながら説明する。図７は実施の形態１における補正部の動作の一例を示すフローチャートである。図８は、補正処理の例を示す模式図である。補正部１５０は、頭部姿勢ごとに異なる較正パラメータの影響を打ち消すための変換処理を行う。
【００６０】
まず初めに、補正部１５０は、較正部１４０により選択された基準姿勢に対する視線方向分布から１つ以上の基準点を選ぶ（ステップＳ７０１）。
【００６１】
次に、補正部１５０は、補正対象の視線方向分布から、基準点と同じ数の参照点を選ぶ（ステップＳ７０２）。補正部１５０は、較正パラメータを算出する処理と同じように基準点と参照点の位置関係を定め（ステップＳ７０３）、基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ７０４）。
【００６２】
ここで、ステップＳ７０３およびＳ７０４についてはそれぞれＳ４０２、Ｓ４０３と同様の方法を用いることが出来る。例えば視線方向分布の重心を基準点として選んだ場合、図８のように補正対象（基準姿勢以外の頭部姿勢）の視線方向分布８０１の重心８０２を基準姿勢に対する視線方向分布８０３の重心８０４に重ねる変換を行うための補正パラメータを算出する。
【００６３】
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を基準姿勢に対する視線方向分布に近づけるよう補正した後（ステップＳ７０５）、較正部１４０が算出した較正パラメータを用いて、各参照点を較正する（ステップＳ７０６）。
【００６４】
以上のように、補正部１５０は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、算出した補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
【００６５】
［１−２−４．補正処理の他の例］
以下、補正処理の他の一例について図面を参照しながら説明する。図９は実施の形態１における補正部の他の動作の一例をフローチャートである。なお、図９において、図７と同じ動作のステップには同符号を付与し、説明を省略する。
【００６６】
図７と異なる点はステップＳ７０２の後で、較正部１４０が算出した較正パラメータを用いて、基準点を較正し（ステップＳ９０３）、較正された基準点と参照点の位置関係を求める（ステップＳ９０４）。その後、較正された基準点と参照点を対応付けるための補正パラメータを求める（ステップＳ９０５）。
【００６７】
補正部１５０は、算出した補正パラメータを用いて、補正対象の視線方向分布を較正された基準姿勢に対する視線方向分布に近づけるよう補正する（ステップＳ９０６）。
【００６８】
ここで、補正部１５０は、較正済みの基準点に対して補正処理を行っている。すなわち、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
【００６９】
［３．まとめ］
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢の中から基準姿勢を選択し、基準姿勢に対する視線方向分布を較正して、較正パラメータを算出し、補正部１５０は、較正部が算出した較正パラメータを用いて、基準姿勢以外の頭部姿勢に対する視線方向分布を補正する。
【００７０】
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。
【００７１】
また、補正部は、基準姿勢以外の頭部姿勢に対する視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正パラメータを用いて補正した後、較正パラメータを用いて較正する。
【００７２】
なお、補正部は、基準姿勢以外の頭部姿勢の視線方向分布を基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、較正パラメータを補正パラメータで補正した後、基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて較正してもよい。
【００７３】
これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。この場合、補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、基準姿勢に対する視線方向分布の重心に重ねる変換を行ってもよい。
【００７４】
なお、補正部は、基準姿勢に対する視線方向分布を較正パラメータを用いて較正し、基準姿勢以外の頭部姿勢の視線方向分布を較正された基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出してもよい。これにより、補正パラメータ自体に較正処理の結果が織り込まれる形となる。
【００７５】
また、較正部は、既知の視線方向を表す基準点と、基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付ける。較正部は、最も頻度の高い頭部姿勢を基準姿勢としてもよい。
【００７６】
また、基準姿勢は複数であってもよい。この場合、較正部は複数の基準姿勢のそれぞれについて較正パラメータを算出し、補正部は複数の基準姿勢のいずれか（例えば検出された頭部姿勢に最も近いものなど）を用いて処理を行う。
【００７７】
（実施の形態２）
以下、図１０を用いて、実施の形態２を説明する。なお、実施の形態１における視線検出装置の構成は実施の形態１の視線検出装置の構成と同様であるため、説明を省略する。
【００７８】
［２―１動作］
図１０は実施の形態２における視線検出装置の処理の流れを示すフローチャートである。なお、図１０において、図３と同じ動作のステップには同符号を付与し、説明を省略する。
【００７９】
図３と異なるのはステップＳ１００４以降で、較正部１４０は各頭部姿勢に対する視線方向分布のそれぞれについて、視線方向分布を較正するための較正パラメータを算出する（ステップＳ１００４）。
【００８０】
較正部１４０は、較正パラメータの精度が不十分であるなどの理由で較正をやり直すかどうかを判定し（ステップＳ１００５）、やり直す場合はステップＳ２０１に処理を戻し、これまでの処理を繰り返す。
【００８１】
なお、ステップＳ１００５において、較正部１４０はある特定の１つ以上の頭部姿勢に対する較正パラメータに対してのみ精度の判定を行うようにしてもよい。このようにすることで、視線方向分布に含まれるデータ数が少なく、較正パラメータの精度が悪くなりやすい頭部姿勢の影響を無視して処理を進めることが可能となる。
【００８２】
較正をやり直さない場合、補正部１５０は検出部１２０によって検出された頭部姿勢に対する較正パラメータを用いて、視線方向分布を補正する（ステップＳ１００６）。
【００８３】
なお、ステップＳ１００６において、ステップＳ１００５の処理によっては検出された頭部姿勢に対する較正パラメータがまだ求められていない場合がありえる。この場合は補正を行わないか、仮の較正パラメータ（例えば数式５においてａ＝１、ｂ＝０、ｃ＝０、ｄ＝０、ｅ＝１、ｆ＝０とすると元の視線方向分布を変化させない）によって補正を行うようにしてもよい。
【００８４】
本実施の形態の視線検出装置は、撮像部１１０が被測定者を撮像し、検出部１２０は、撮像部１１０によって撮影された画像から被測定者の頭部姿勢と視線方向を検出し、生成部１３０は、検出部により検出された頭部姿勢と視線方向から頭部姿勢ごとの視線方向分布を生成し、較正部１４０は、頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出し、補正部１５０は、較正部が算出した頭部姿勢毎の較正パラメータのうち、検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する。
【００８５】
これにより、頭部姿勢の変化がキャリブレーション結果に与える影響を自動的に補正できる。実施の形態１においては、基準姿勢に対してのみ較正パラメータを算出したが、実施の形態２においては、各頭部姿勢毎に較正パラメータを算出し、それを補正部で直接使用している点が異なる。
【００８６】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００８７】
そこで、以下、他の実施の形態を例示する。
【００８８】
例えば視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行ってもよい。これによって、例えば視線方向の検出が不安定になりやすい視線移動中の状態は重みを低くして、より正確な視線方向分布を得ることが出来る。あるいは視線方向の時間変化が所定の大きさを下回るもののみを用いて視線方向分布を生成してもよい。これによっても同様の効果を得ることが出来る。
【００８９】
上記の例では視線方向分布を生成する際に、視線方向の時間変化に応じた重み付けを行う例について説明したが、代わりに較正パラメータや補正パラメータを算出する際の基準点や参照点を選ぶ際に重みを考慮してこれらの点を選ぶようにしてもよい。先述の例と同じように、これによって不安定な状態を避けてより正確な代表点や参照点の位置を得ることが出来る。
【００９０】
また、上記実施の形態で説明した視線検出装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【００９１】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００９２】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００９３】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【００９４】
また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【００９５】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９６】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９７】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９８】
本開示は、画像に基づいて被測定者の視線方向を検出する視線検出装置に有用である。
【符号の説明】
【００９９】
１００    視線検出装置
１１０    撮像部
１２０    検出部
１３０    生成部
１４０    較正部
１５０    補正部
１６０    メモリ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被測定者を撮像する撮像部と、
前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
前記頭部姿勢の中から基準姿勢を選択し、前記基準姿勢に対する視線方向分布を較正して、較正パラメータを算出する較正部と、
前記較正部が算出した前記較正パラメータを用いて、前記基準姿勢以外の頭部姿勢において生成した視線方向分布を補正する補正部と、
を備える視線検出装置。
【請求項２】
前記補正部は、前記基準姿勢以外の頭部姿勢に対する視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、前記補正パラメータを用いて補正した後、前記較正パラメータを用いて較正することを特徴とする、請求項１に記載の視線検出装置。
【請求項３】
前記補正部は、前記基準姿勢以外の頭部姿勢の視線方向分布を前記基準姿勢に対する視線方向分布に近づける変換を行うための補正パラメータを算出し、前記較正パラメータを前記補正パラメータで補正した後、前記基準姿勢以外の頭部姿勢に対する視線方向分布を、補正した較正パラメータを用いて較正することを特徴とする、請求項１に記載の視線検出装置。
【請求項４】
前記補正部は、補正対象の頭部姿勢に対する視線方向分布の重心を、前記基準姿勢に対する視線方向分布の重心に重ねる変換を行うことを特徴とする、請求項３に記載の視線検出装置。
【請求項５】
前記較正部は、既知の視線方向を表す基準点と、前記基準姿勢に対する視線方向分布から選択した参照点とを所定の関係式で対応付けることを特徴とする、請求項１乃至４に記載の視線検出装置。
【請求項６】
前記較正部は、最も頻度の高い頭部姿勢を前記基準姿勢とすることを特徴とする、請求項１乃至５に記載の視線検出装置。
【請求項７】
被測定者を撮像する撮像部と、
前記撮像部によって撮影された画像から前記被測定者の頭部姿勢と視線方向を検出する検出部と、
前記検出部により検出された頭部姿勢と視線方向から頭部姿勢毎の視線方向分布を生成する生成部と、
前記頭部姿勢毎の視線方向分布のそれぞれに対して、視線方向分布を較正するための較正パラメータを算出する較正部と、
前記較正部が算出した前記頭部姿勢毎の較正パラメータのうち、前記検出部によって検出された被測定者の頭部姿勢に対する較正パラメータを用いて視線方向分布を補正する補正部と、
を備える視線検出装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2015136908.tif 000025
【図２】
2015136908.tif 000026
【図３】
2015136908.tif 000027
【図４】
2015136908.tif 000028
【図５】
2015136908.tif 000029
【図６】
2015136908.tif 000030
【図７】
2015136908.tif 000031
【図８】
2015136908.tif 000032
【図９】
2015136908.tif 000033
【図１０】
2015136908.tif 000034
【国際調査報告】
2015136908.tif 000035
2015136908.tif 000036