(57)【要約】      （修正有）【課題】画質の低下やコスト及びサイズの増大を抑えつつ、ユーザの視線位置の検出を行うことが可能なゴーグル型表示装置を提供する。【解決手段】ユーザの頭部に装着可能なゴーグル型のフレームと、フレームを装着したユーザの少なくとも一方の目の前方に位置するように配されたディスプレイと、フレーム内に配置され、フレームを装着したユーザの顔面を撮影して少なくとも一方の目と鼻筋とを含む顔画像を取得する撮像部と、顔画像に基づいて、ユーザがディスプレイ上のどの位置を目視しているかを視線位置として推定する視線位置推定部１６と、を有する。【選択図】図３
2019047911.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの頭部に装着可能なゴーグル型のフレームと、
前記フレームを装着したユーザの少なくとも一方の目の前方に位置するように配されたディスプレイと、
前記フレーム内に配置され、前記フレームを装着したユーザの顔面を撮影して前記少なくとも一方の目と鼻筋とを含む顔画像を取得する撮像部と、
前記顔画像に基づいて、前記ユーザが前記ディスプレイ上のどの位置を目視しているかを視線位置として推定する視線位置推定部と、
を有することを特徴とするゴーグル型表示装置。
【請求項２】
前記視線位置推定部は、
前記顔画像から、前記少なくとも一方の目の瞳孔又は虹彩の画像及び前記鼻筋の画像を検出する対象部位検出部と、
前記瞳孔又は虹彩の画像と前記鼻筋の画像とに基づいて、前記ディスプレイを基準とした前記視線位置の座標を生成する視線座標生成部と、
を含むことを特徴とする請求項１に記載のゴーグル型表示装置。
【請求項３】
前記視線座標生成部は、前記瞳孔又は虹彩の画像の形状と前記鼻筋を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置の座標を生成する、
ことを特徴とする請求項２に記載のゴーグル型表示装置。
【請求項４】
前記対象部位検出部は、前記顔画像から前記少なくとも一方の目の上まぶた及び下まぶたの画像を検出し、
前記視線座標生成部は、前記鼻筋を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置の座標を生成する、
ことを特徴とする請求項２又は３に記載のゴーグル型表示装置。
【請求項５】
前記撮像部は、前記ゴーグル型のフレームの左右のテンプルの少なくとも一方の内側に配置されていることを特徴とする請求項２乃至４のいずれか１に記載のゴーグル型表示装置。
【請求項６】
前記少なくとも一方の目と目尻又は頬の輪郭とを含む第２の顔画像を取得する第２の撮像部をさらに備え、
前記対象部位検出部は、前記第２の顔画像から前記少なくとも一方の目の瞳孔又は虹彩の画像と前記目尻又は頬の輪郭の画像とを検出し、
前記視線座標生成部は、前記瞳孔又は虹彩の画像の形状と前記少なくとも一方の目の目尻又は頬の輪郭を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置の座標を生成することを特徴とする請求項２乃至５のいずれか１に記載のゴーグル型表示装置。
【請求項７】
前記対象部位検出部は、前記第２の顔画像から前記少なくとも一方の目の上まぶた及び下まぶたの位置と前記目尻又は頬の輪郭の位置とを検出し、
前記視線座標生成部は、前記目尻又は頬の輪郭を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置の座標を生成することを特徴とする請求項６に記載のゴーグル型表示装置。
【請求項８】
前記第２の撮像部は、前記ゴーグル型のフレームの鼻あて部分に配置されていることを特徴とする請求項６又は７に記載のゴーグル型表示装置。
【請求項９】
前記視線位置推定部は、前記顔画像に基づいて生成した視線位置の座標と、前記第２の顔画像に基づいて生成した視線位置の座標と、を合成して前記視線位置を推定することを特徴とする請求項６乃至８のいずれか１に記載のゴーグル型表示装置。
【請求項１０】
ゴーグル型のフレーム及びディスプレイを有し、ユーザの頭部に装着可能なゴーグル型表示装置における視線検出方法であって、
前記フレームを装着したユーザの顔面を撮影して少なくとも一方の目と鼻筋とを含む前記ユーザの顔画像を取得するステップと、
前記顔画像に基づいて、前記ユーザが前記ディスプレイ上のどの位置を目視しているかを示す視線位置を推定するステップと、
を含むことを特徴とする視線検出方法。
【請求項１１】
前記視線位置を推定するステップは、
前記顔画像から、前記少なくとも一方の目の瞳孔又は虹彩の画像と前記鼻筋の画像とを検出するステップと、
前記瞳孔又は虹彩の画像と前記鼻筋の画像とに基づいて、前記ディスプレイを基準とした前記視線位置の座標を生成するステップと、
を含むことを特徴とする請求項１０に記載の視線検出方法。
【請求項１２】
前記視線位置の座標を生成するステップでは、前記瞳孔又は虹彩の画像の形状と前記鼻筋を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置の座標を生成することを特徴とする請求項１１に記載の視線検出方法。
【請求項１３】
前記視線位置の座標を生成するステップは、
前記少なくとも一方の目の上まぶた及び下まぶたの画像を検出するステップと、
前記鼻筋を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置の座標を生成するステップと、
を含むことを特徴とする請求項１１又は１２に記載の視線検出方法。
【請求項１４】
前記少なくとも一方の目と目尻又は頬の輪郭とを含む第２の顔画像を取得するステップと、
前記第２の顔画像から前記少なくとも一方の目の瞳孔又は虹彩の画像と前記目尻又は頬の輪郭の画像とを検出するステップと、
をさらに含み、
前記視線位置の座標を生成するステップでは、前記瞳孔又は虹彩の画像の形状と前記少なくとも一方の目の目尻又は頬の輪郭を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置の座標を生成する、
ことを特徴とする請求項１１乃至１３のいずれか１に記載の視線検出方法。
【請求項１５】
前記視線位置の座標を生成するステップは、
前記第２の顔画像から前記少なくとも一方の目の上まぶた及び下まぶたの画像と前記目尻又は頬の輪郭の画像とを検出するステップと、
前記目尻又は頬の輪郭を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置の座標を生成するステップと、
を含むことを特徴とする請求項１４に記載の視線検出方法。
【請求項１６】
前記視線位置を推定するステップは、前記顔画像に基づいて生成した視線位置の座標と、前記第２の顔画像に基づいて生成した視線位置の座標と、を合成して視線位置を推定するステップを含むことを特徴とする請求項１４又は１５に記載の視線検出方法。
【請求項１７】
ユーザの顔面を撮影して、前記ユーザの少なくとも一方の目と鼻筋とを含む顔画像を取得する撮像部と、
前記顔画像から、前記少なくとも一方の目の画像と前記鼻筋の画像とを検出する対象部位検出部と、
前記少なくとも一方の目の画像と前記鼻筋の画像とに基づいて、前記ユーザの視線位置を検出する視線位置検出部と、
を有することを特徴とする視線検出システム。
【請求項１８】
前記対象部位検出部は、前記少なくとも一方の目の瞳孔又は虹彩の画像を検出し、
前記視線位置検出部は、前記瞳孔又は虹彩の画像の形状と前記鼻筋を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置を検出する、
ことを特徴とする請求項１７に記載の視線検出システム。
【請求項１９】
前記対象部位検出部は、前記少なくとも一方の目の上まぶた及び下まぶたの画像を検出し、
前記視線位置検出部は、前記鼻筋を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置を検出する、
ことを特徴とする請求項１７又は１８に記載の視線検出システム。
【請求項２０】
前記撮像部は、前記少なくとも一方の目と目尻又は頬の輪郭とを含む第２の顔画像を取得し、
前記対象部位検出部は、前記第２の顔画像から前記少なくとも一方の目の瞳孔又は虹彩の画像と前記目尻又は頬の輪郭の画像とを検出し、
前記視線位置検出部は、前記瞳孔又は虹彩の画像の形状と前記少なくとも一方の目の目尻又は頬の輪郭を基準とした前記瞳孔又は虹彩の位置とに基づいて、前記視線位置を検出することを特徴とする請求項１７乃至１９のいずれか１に記載の視線検出システム。
【請求項２１】
前記対象部位検出部は、前記第２の顔画像から前記少なくとも一方の目の上まぶた及び下まぶたの画像を検出し、
前記視線位置検出部は、前記目尻又は頬の輪郭を基準とした前記上まぶた及び下まぶたの角度に基づいて、前記視線位置を検出することを特徴とする請求項２０に記載の視線検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゴーグル型表示装置、視線検出方法及び視線検出システムに関する。
【背景技術】
【０００２】
ＶＲ（Virtual Reality：仮想現実）やＡＲ（Augmented Reality：拡張現実）等の技術を用いて、ヘッドマウントディスプレイに３Ｄ映像（画像）を表示させる映像表示装置が知られている。このような映像表示装置において、ユーザが表示画像内のどの位置を見ているか（以下、ユーザの視線位置と称する）を検出し、検出したユーザの視線位置を「＋」印等により表示画像に重畳して表示することが行われている。
【０００３】
ユーザの視線位置の検出は、カメラでユーザの目を撮影し、網膜や虹彩の動き等の目の映像に基づいて視線の位置を推定することにより行われる。例えば、瞳孔用のカメラで瞳孔画像を取得するとともに鼻孔用のカメラで鼻孔画像を取得し、対象者の視線及び顔の姿勢を検出する顔検出方法が提案されている（例えば、特許文献１）。
【０００４】
ところで、ＶＲグラスやＡＲグラスのようなゴーグル型（眼鏡型）のディスプレイを顔に装着する映像表示装置では、狭いスペースの中、ユーザの視界に入りにくい場所にカメラを配置する必要があり、目とカメラの位置が近くなってしまう。
【０００５】
そこで、ハーフミラーを用いて目とカメラとの間の距離を長くとりつつ、ユーザの目を撮影して視線位置の検出を行うヘッドマウントディスプレイが提案されている（例えば、特許文献２）。
【０００６】
また、目とカメラの位置が近い状態でユーザの目を撮影する他の方法としては、カメラの画角を広げるために広角レンズを用いて撮影を行う方法や、多数のカメラを用いて目全体を分割して撮影する方法が考えられる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−２３２７７１号公報
【特許文献２】特許第５８２４６９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記のようにハーフミラーを用いたヘッドマウントディスプレイでは、ハーフミラーが目と画面との間に位置しているため、画質が低下するおそれがある。また、ハーフミラーの分だけコストが増加し、ＶＲケース（ゴーグル）のサイズが増大するという問題があった。
【０００９】
また、広角レンズや多数のカメラを用いた場合、広角レンズやカメラの台数分のコストが増加するという問題があった。
【００１０】
本発明は上記問題点に鑑みてなされたものであり、画質の低下やコスト及びサイズの増大を抑えつつ、ユーザの視線位置の検出を行うことが可能なゴーグル型表示装置、視線検出方法及び視線検出システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係るゴーグル型表示装置は、ユーザの頭部に装着可能なゴーグル型のフレームと、前記フレームを装着したユーザの少なくとも一方の目の前方に位置するように配されたディスプレイと、前記フレーム内に配置され、前記フレームを装着したユーザの顔面を撮影して前記少なくとも一方の目と鼻筋とを含む顔画像を取得する撮像部と、前記顔画像に基づいて、前記ユーザが前記ディスプレイ上のどの位置を目視しているかを視線位置として推定する視線位置推定部と、を有することを特徴とする。
【００１２】
本発明に係る視線検出方法は、ゴーグル型のフレーム及びディスプレイを有し、ユーザの頭部に装着可能なゴーグル型表示装置における視線検出方法であって、前記フレームを装着したユーザの顔面を撮影して少なくとも一方の目と鼻筋とを含む前記ユーザの顔画像を取得するステップと、前記顔画像に基づいて、前記ユーザが前記ディスプレイ上のどの位置を目視しているかを示す視線位置を推定するステップと、を含むことを特徴とする。
【００１３】
本発明に係る視線検出システムは、ユーザの顔面を撮影して、前記ユーザの少なくとも一方の目と鼻筋とを含む顔画像を取得する撮像部と、前記顔画像から、前記少なくとも一方の目の画像と前記鼻筋の画像とを検出する対象部位検出部と、前記少なくとも一方の目の画像と前記鼻筋の画像とに基づいて、前記ユーザの視線位置を検出する視線位置検出部と、を有することを特徴とする。
【発明の効果】
【００１４】
本発明に係るゴーグル型表示装置、視線検出方法及び視線検出システムによれば、画質の低下やコスト及びサイズの増大を抑えつつ、ユーザの視線位置の検出を行うことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本実施例のゴーグル型表示装置の外形を模式的に示す図である。
【図２】カメラとユーザの目との位置関係を模式的に示す図である。
【図３】本実施例のゴーグル型表示装置の構成を示すブロック図である。
【図４】カメラにより撮影した右目の画像の例を示す図である。
【図５】ゴーグル型表示装置の各部が行う処理を示すフローチャートである。
【図６】実施例２のカメラとユーザの目との位置関係を模式的に示す図である。
【図７】実施例２のゴーグル型表示装置の構成を示すブロック図である。
【図８】ＡＲ表示を行う場合のゴーグル型表示装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施例について、図面を参照して説明する。なお、以下の各実施例における説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。
【実施例１】
【００１７】
図１は、本実施例のゴーグル型表示装置１００の外形を模式的に示す図である。ゴーグル型表示装置１００は、例えばＶＲ（Virtual Reality）の映像表示に用いるＶＲゴーグルであり、ユーザの頭部に装着可能なゴーグル型フレームから構成されている。
【００１８】
ゴーグル型フレームは、装着時にユーザの耳にかかる部分である左右のテンプル（つる）ＴＬ及びＴＲを有し、ブリッジ（鼻あて）部分の左右（図中ＢＬ、ＢＲとして示す）が鼻筋に密着する形でユーザの頭部に装着される。左右のテンプルＴＬ及びＴＲの間であって且つ装着時にユーザの目の前方に位置する部分にはディスプレイ（画面ＤＳ）が設けられている。
【００１９】
ゴーグル型フレーム内の右のテンプルＴＲの内側側面の画面ＤＳに近い位置には、カメラＣＡ１が配置されている。ゴーグル型フレーム内の左のテンプルＴＬの内側側面の画面ＤＳに近い位置には、カメラＣＡ２が配置されている。また、ゴーグル型フレームのテンプルＴＲ及びＴＬのいずれか一方（例えば、右のテンプルＴＲ）の内側側面には、画像処理部１０を含むチップが設けられている。
【００２０】
図２（ａ）は、ゴーグル型フレームを装着した状態のユーザの両目及び鼻とカメラＣＡ１及びＣＡ２との位置関係を、ユーザの頭頂部から足先に向かう方向に上面視した模式図である。カメラＣＡ１は、ユーザの右目の右側から、ユーザの右目及び鼻筋を撮影する。カメラＣＡ２は、ユーザの左目の左側から、ユーザの左目及び鼻筋を撮影する。
【００２１】
図２（ｂ）は、カメラＣＡ１、画面ＤＳ、ユーザの右目及び鼻筋の位置関係を示す図である。カメラＣＡ１は、ユーザの右目の瞳孔、虹彩（黒目）、上下まぶた及び鼻筋を含む顔面の一部を撮影する。画面ＤＳには、ユーザが画面上のどの位置を視認しているかを示す視線位置の情報（図中、「＋」マークで示す）が表示される。なお、カメラＣＡ２と画面ＤＳ、ユーザの左目及び鼻筋の位置関係についても、これと同様である。
【００２２】
ゴーグル型表示装置１００は、カメラＣＡ１を含む右側部分とカメラＣＡ２を含む左側部分とで、同様の構成を有する。以下では、ゴーグル型表示装置１００の右側部分の構成及び動作について説明し、左側部分については説明を省略する。
【００２３】
図３は、本実施例のゴーグル型表示装置１００の右側部分の構成を示すブロック図である。ゴーグル型表示装置１００は、カメラＣＡ１と、画面ＤＳと、画像処理部１０と、を有する。画像処理部１０は、対象部位検出部１１、対称座標生成部１２、基準情報メモリ１３、視線座標生成部１４、及び映像合成部１５から構成されている。対象部位検出部１１、対称座標生成部１２及び視線座標生成部１４は、ユーザの視線位置を推定する視線位置推定部１６を構成している。
【００２４】
カメラＣＡ１は、例えば近赤外線カメラから構成されている。カメラＣＡ１は、ユーザの右目（図中、ＥＹＥとして示す）及び鼻筋を含むユーザの顔面を撮影して顔画像ＦＩを取得し、対称部位検出部１１に供給する。
【００２５】
図４（ａ）〜（ｅ）は、顔画像ＦＩの例を模式的に示す図である。図４（ａ）はユーザが前方を見ている状態、図４（ｂ）はユーザが右を見ている状態、図４（ｃ）はユーザが左を見ている状態、図４（ｄ）はユーザが上を見ている状態、図４（ｅ）はユーザが下を見ている状態の顔画像ＦＩである。
【００２６】
目の左右方向の動きは、図４（ａ）〜（ｃ）に示すように、瞳孔や虹彩の楕円画像の位置及び縦横比に基づいて求めることが可能である。一方、目の上下方向の動きは、図４（ａ）、（ｄ）及び（ｅ）に示すように、瞳孔や虹彩の楕円画像の位置及び楕円の傾きに基づいて求めることが可能である。また、目の上下の動きには上まぶた及び下まぶたが連動するため、側面から捉えた上まぶた及び下まぶたの位置及び角度によっても目の上下方向の動きを求めることができる。
【００２７】
また、鼻筋を基準とした上下のまぶた、瞳孔及び虹彩の相対的な位置を取得することにより、カメラＣＡ１に位置ずれが生じた場合にも、目の上下左右の動きを求めることが可能である。
【００２８】
再び図３を参照すると、対象部位検出部１１は、画像認識により顔画像ＦＩから鼻筋、上下まぶた、瞳孔及び虹彩（以下、これらを「対象部位」と総称する）の画像を検出する画像検出部である。対象部位検出部１１は、例えばカメラＣＡ１が近赤外線カメラである場合、顔画像ＦＩ内の色の濃淡に基づいて対象部位の画像を検出（抽出）する。
【００２９】
対象座標生成部１２は、検出された対象部位の画像に基づいて、対象部位のそれぞれの位置を示す座標情報を生成する。また、対称座標生成部１２は、これに加えて上下まぶたの画像の角度や、瞳孔及び虹彩の画像の楕円の幅及び傾きを算出する。
【００３０】
基準情報メモリ１３は、キャリブレーションにより得られた情報を基準情報として記憶する。キャリブレーションは、例えばユーザがゴーグル型表示装置１００を装着した直後に行われる。キャリブレーションでは、例えば、画面ＤＳに注視点のマークを表示させ、ユーザの視線の位置を画面の中心、上／下／左／右、斜め上右／上左／下右／下左の９点に移動させつつユーザの顔画像を撮影し、各々の顔画像における鼻筋、上下まぶた、瞳孔及び虹彩の楕円の座標情報と、上下まぶたの画像の角度、瞳孔及び虹彩の楕円の幅及び傾きの情報と、を含む基準情報を得る。
【００３１】
視線座標生成部１４は、対象座標生成部１２が生成した鼻筋、上下まぶた、瞳孔及び虹彩の楕円の座標情報と、上下まぶたの画像の角度、瞳孔及び虹彩の楕円の幅及び傾きの情報とに基づいて、視線座標を生成する。その際、視線座標生成部１４は、基準情報メモリ１３に格納されている基準情報に基づいて画像ずれの補正を行いつつ、視線座標を生成する。
【００３２】
視線合成部１５は、視線座標生成部１４により生成された視線位置の座標情報と、映像出力部（図示せず）から供給された映像情報ＶＤとを合成する。これにより、映像情報ＶＤに基づく映像に加えて、図２（ｂ）に示すような視線位置の画像（例えば「＋」マーク）が画面ＤＳに表示される。
【００３３】
次に、本実施例のゴーグル型表示装置１００の対象部位位検出部１１、対象座標生成部１２及び視線座標生成部１４の処理動作について、図５のフローチャートを参照して説明する。
【００３４】
対象部位検出部１１は、顔画像ＦＩからユーザの顔の輪郭として「鼻筋」を検出する（ステップＳ１０１）。
【００３５】
また、対称部位検出部１１は、顔画像ＦＩからユーザの上まぶた及び下まぶたを検出する（ステップＳ１０２）。
【００３６】
また、対称部位検出部１１は、顔画像ＦＩからユーザの瞳孔及び虹彩を検出し、楕円画像として抽出する（ステップＳ１０３）。
【００３７】
対象座標生成部１２は、対称部位検出部１１が検出したユーザの鼻筋（顔の輪郭）を座標情報に変換する（ステップＳ２０１）。
【００３８】
対象座標生成部１２は、対称部位検出部１１が検出したユーザの上まぶた及び下まぶたの位置を座標情報に変換する（ステップＳ２０２）。また、対称座標生成部１２は、鼻筋を基準とした上まぶた及び下まぶたの画像の角度を算出する。
【００３９】
対象座標生成部１２は、対称部位検出部１１が検出したユーザの瞳孔及び虹彩の位置を座標情報に変換する（ステップＳ２０３）。また、対称座標生成部１２は、瞳孔及び虹彩の楕円の幅及び鼻筋を基準とした傾きを算出する。
【００４０】
視線座標生成部１４は、ステップＳ２０１で取得した鼻筋（顔の輪郭）の座標情報と、基準情報メモリ１３に格納されている基準情報に含まれるキャリブレーション時の鼻筋の座標情報とを比較する。そして、視線座標生成部１４は、キャリブレーション時の顔画像と実動作時にカメラＣＡ１が取得した顔画像ＦＩとの画像のズレを示す画像ズレ補正情報を生成する（ステップＳ３０１）。
【００４１】
視線座標生成部１４は、ステップＳ３０１で生成した画像ズレ補正情報に基づいて、ステップＳ２０２で取得した上下まぶたの位置座標及び角度と、ステップＳ２０３で取得した瞳孔及び虹彩の位置座標、楕円の幅及び傾きとを補正する（ステップＳ３０２）。
【００４２】
視線座標生成部１４は、ステップＳ３０２で補正された上下まぶたの位置座標、角度、瞳孔及び虹彩の位置座標、楕円の幅及び傾きの情報と、キャリブレーションの際に得られたこれらの情報とに基づいて、視線座標を生成する（ステップＳ３０３）。
【００４３】
以上の処理動作により、右目の視線座標が生成される。なお、左目についても同様の処理動作により視線座標が生成される。
【００４４】
以上のように、本実施例のゴーグル型表示装置１００では、カメラがユーザの目の側面に配置され、ユーザの目（瞳孔、虹彩、上下まぶた）とともに鼻筋を撮影する。そして、画像処理部１０は、瞳孔、虹彩及び上下まぶたの位置の情報や、瞳孔及び虹彩の画像の幅の情報、鼻筋を基準とした瞳孔及び虹彩の画像の傾きや上下まぶたの角度の情報に基づいて、視線位置を推定する。
【００４５】
本実施例のゴーグル型表示装置１００では、視線と連動する瞳孔、虹彩及び上下まぶたの動きを、視線と連動しない鼻筋を基準として算出している。この構成によれば、瞳孔や虹彩の全体をカメラで捉える必要がないためユーザの目から比較的離れた位置にカメラを配置することができ、広角レンズ、ハーフミラー、多数のカメラ等を用いることなく、ユーザの視線位置を検出することができる。
【００４６】
従って、本実施例のゴーグル型表示装置１００によれば、画質の低下やコスト及びサイズの増大を抑えつつ、ユーザの視線位置の検出を行うことが可能となる。
【実施例２】
【００４７】
本実施例のゴーグル型表示装置は、カメラＣＡ１及びＣＡ２の他に、右目を左側から撮影するカメラＣＡ３、左目を右側から撮影するカメラＣＡ４を有する点で、実施例１のゴーグル型表示装置１００と異なる。カメラＣＡ３は、例えば図１に示すブリッジ（鼻あて）部の右側部分ＢＲに配置されている。カメラＣＡ４は、例えば図１に示すブリッジ（鼻あて）部の左側部分ＢＬに配置されている。
【００４８】
図６は、本実施例のゴーグル型表示装置における各カメラとユーザの目及び鼻との位置関係を、ユーザの頭頂部から足先に向かう方向に上面視した模式図である。実施例１と同様、カメラＣＡ１はユーザの右目及び鼻筋を右側から撮影する。カメラＣＡ２はユーザの左目及び鼻筋を左側から撮影する。
【００４９】
これに対し、カメラＣＡ３は、ユーザの右目を左側から撮影する。カメラＣＡ４は、ユーザの左目を右側から撮影する。カメラＣＡ３及びＣＡ４の撮影により、ユーザの目尻又は頬の輪郭を含む顔画像が取得される。
【００５０】
本実施例のゴーグル型表示装置は、カメラＣＡ１及びＣＡ３を含む右側部分とカメラＣＡ２及びＣＡ４を含む左側部分とで、同様の構成を有する。以下では、右側部分の構成及び動作について説明し、左側部分については説明を省略する。
【００５１】
図７は、本実施例のゴーグル型表示装置２００の右側部分の構成を示すブロック図である。ゴーグル型表示装置２００は、カメラＣＡ１及びＣＡ３と、画面ＤＳと、画像処理部２０と、を有する。画像処理部２０は、対象部位検出部１１ａ及び１１ｂ、対称座標生成部１２ａ及び１２ｂ、基準情報メモリ１３、視線座標生成部１４、及び映像合成部１５から構成されている。対象部位検出部１１ａ及び１１ｂ、対称座標生成部１２ａ及び１２ｂ、及び視線座標生成部１４は、ユーザの視線位置を推定する視線位置推定部１６を構成している。
【００５２】
カメラＣＡ１は、ユーザの右目及び鼻筋を含むユーザの顔面を撮影して顔画像ＦＩａを取得し、対称部位検出部１１ａに供給する。
【００５３】
対象部位検出部１１ａは、画像認識により顔画像ＦＩａから鼻筋、上下まぶた、瞳孔及び虹彩の画像を検出する。
【００５４】
対象座標生成部１２ａは、検出された画像に基づいて、鼻筋、上下まぶた、瞳孔及び虹彩のそれぞれの位置を示す座標情報を生成する。また、対称座標生成部１２ａは、上下まぶたの画像の角度、瞳孔及び虹彩の画像の楕円の幅及び傾きを算出する。
【００５５】
カメラＣＡ２は、ユーザの右目、目尻又は頬の輪郭を含むユーザの顔面を撮影して顔画像ＦＩｂを取得し、対象部位検出部１１ｂに供給する。
【００５６】
対象部位検出部１１ｂは、画像認識により顔画像ＦＩｂから目尻又は頬の輪郭、上下まぶた、瞳孔及び虹彩の画像を検出する。
【００５７】
対象座標生成部１２ｂは、検出された画像に基づいて、目尻又は頬の輪郭、上下まぶた、瞳孔及び虹彩のそれぞれの位置を示す座標情報を生成する。また、対称座標生成部１２ｂは、上下まぶたの画像の角度、瞳孔及び虹彩の画像の楕円の幅及び傾きを算出する。
【００５８】
なお、カメラＣＡ１、対称部位検出部１１ａ、対象座標生成部１２ａ、カメラＣＡ３、対称部位検出部１１ｂ及び対象座標生成部１２ｂは、実施例１と同様、実動作時に上記の各動作を行うほか、キャリブレーションの際にも上記の各動作を行う。
【００５９】
基準情報メモリ１３は、対象座標生成部１２ａがキャリブレーションにおいて生成した鼻筋、上下まぶた、瞳孔及び虹彩の座標情報、上下まぶたの角度情報、瞳孔及び虹彩の楕円の幅及び傾きの情報と、対象座標生成部１２ｂがキャリブレーションにおいて生成した目尻又は頬の輪郭、上下まぶた、瞳孔及び虹彩の座標情報、上下まぶたの角度情報、瞳孔及び虹彩の楕円の幅及び傾きの情報と、を基準情報として格納する。
【００６０】
視線座標生成部１４は、カメラＣＡ１、対称部位検出部１１ａ及び対象座標生成部１２ａにより取得された鼻筋、上下まぶた、瞳孔及び虹彩の座標情報、上下まぶたの角度情報、瞳孔及び虹彩の楕円の幅及び傾きの情報と、キャリブレーション時に得られたこれらの情報とに基づいて、第１の視線位置座標を生成する。なお、第１の視線位置座標の生成は、実施例１と同様、図５に示すＳ１０１〜Ｓ３０３の各ステップを経て行われる。
【００６１】
また、視線座標生成部１４は、カメラＣＡ３、対称部位検出部１１ｂ及び対象座標生成部１２ｂにより取得された目尻又は頬の輪郭、上下まぶた、瞳孔及び虹彩の座標情報、上下まぶたの角度情報、瞳孔及び虹彩の楕円の幅及び傾きの情報と、キャリブレーション時に得られたこれらの情報とに基づいて、第２の視線位置座標を生成する。第２の視線位置座標の生成は、図５に示すＳ１０１〜Ｓ３０３における「鼻筋」を「目尻又は頬の輪郭」に変更した各ステップを経て行われる。
【００６２】
視線座標生成部１４は、鼻筋を基準として生成した第１の視線位置座標と、目尻又は頬の輪郭を基準として生成した第２の視線位置座標とを合成し、視線位置の座標を生成する。
【００６３】
視線合成部１５は、視線座標生成部１４により生成された視線位置の座標情報と、映像出力部（図示せず）から供給された映像情報ＶＤとを合成する。これにより、映像情報ＶＤに基づく本来の映像に加えて、視線位置の画像が画面ＤＳに表示される。
【００６４】
以上の各部の動作により、右目の視線座標が生成され、画面ＤＳに表示される。なお、左目についても同様に視線座標の生成及び画面ＤＳへの表示が行われる。
【００６５】
本実施例のゴーグル型表示装置２００では、右目の右側に配置されたカメラＣＡ１（又は左目の左側に配置されたカメラＣＡ２）が撮影した画像に基づいて得られた鼻筋を基準とする視線位置と、右目の左側に配置されたカメラＣＡ３（又は左目の右側に配置されたカメラＣＡ４）が撮影した画像に基づいて得られた目尻又は頬の輪郭を基準とする視線位置との双方に基づいて、視線位置の座標を生成する。従って、鼻筋のみを基準とする場合と比べて、より精度の高い視線位置の座標を生成することが可能となる。
【００６６】
なお、本発明は上記実施形態に限定されない。例えば、上記実施例では、ゴーグル型表示装置１００がＶＲの映像表示に用いるＶＲゴーグルであって、視線位置の座標情報と映像情報ＶＤとを合成して表示する場合を例として説明した。しかし、例えばＡＲ（Augmented Reality）の映像表示に用いるＡＲゴーグルに本発明を適用し、図８に示すように光学映像ＯＶと視線位置の座標情報とを合成して表示させることも可能である。
【００６７】
また、上記実施例では、ゴーグル型のフレームを有する表示装置として説明したが、フレームの形状はゴーグル型に限られず、眼鏡型のフレームであっても良い。すなわち、ユーザの頭部に装着可能な左右のテンプルを有するフレームと、装着時におけるユーザの目の前方の位置に配置された画面又はグラス部分と、を備えた外形を有するものであれば良い。
【００６８】
また、上記実施例では、上下まぶたの位置及び角度と、瞳孔及び虹彩の楕円画像の位置、幅及び傾きと、を用いてユーザの視線位置の座標を生成する場合を例として説明した。しかし、上下まぶたの情報又は瞳孔及び虹彩の情報のいずれか一方を用いて視線位置の座標を生成する構成であっても良い。
【００６９】
また、上記実施例では、瞳孔及び虹彩の楕円画像の位置、幅及び傾きを用いてユーザの視線位置の座標を生成する場合を例として説明した。しかし、瞳孔、虹彩のいずれか一方の画像の位置、幅及び傾きを用いてユーザの視線位置の座標を生成すればよい。
【００７０】
また、上記実施例１では、ゴーグル型表示装置１００がカメラＣＡ１及びＣＡ２を有する場合について説明した。しかし、カメラＣＡ１及びＣＡ２のいずれか一方のみを有し、左右の目のどちらかの視線位置のみを検出する構成であっても良い。その際、画面ＤＳは当該いずれか一方の目の前方に配置されていれば良い。
【００７１】
同様に、実施例２ではカメラＣＡ１、ＣＡ２、ＣＡ３及びＣＡ４を有する場合を例として説明したが、カメラＣＡ１及びＣＡ３と、カメラＣＡ２及びＣＡ４と、のいずれか一方の組み合わせのみを有する構成であっても良い。
【００７２】
また、上記実施例２では、カメラＣＡ１及びＣＡ３の各々についての視線位置（第１の視線位置、第２の視線位置）の座標を生成し、その後にこれらを合成する場合について説明した。しかし、カメラ毎の視線位置の座標を生成して合成するのではなく、対称座標生成部１２ａにより得られた情報と対象座標生成部１２ｂにより得られた情報とに基づいて、１つの視線位置座標を生成する構成であっても良い。
【符号の説明】
【００７３】
１００、２００  ゴーグル型表示装置
ＣＡ１〜ＣＡ４  カメラ
１０、２０  画像処理部
１１、１１ａ、１１ｂ  対象部位検出部
１２、１２ａ、１２ｂ  対象座標生成部
１３  基準情報メモリ
１４  視線座標生成部
１５  視線合成部
１６  視線位置推定部
ＤＳ  画面
【図１】
2019047911.tif 000003
【図２】
2019047911.tif 000004
【図３】
2019047911.tif 000005
【図４】
2019047911.tif 000006
【図５】
2019047911.tif 000007
【図６】
2019047911.tif 000008
【図７】
2019047911.tif 000009
【図８】
2019047911.tif 000010