(57)【特許請求の範囲】
【請求項１】
入射する光の一部を反射し一部を透過する一または複数の一部反射面と、
一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラと、を備え、
前記カメラが、使用者の眼に対して面直方向に設置された前記一部反射面による反射を経由して、前記使用者の眼を撮像し、
前記カメラが、前記一部反射面に写る前記使用者の眼を直接撮像可能なように前記一部反射面から離隔して、前記使用者の眼に対する面直方向よりも前記使用者の眼の下方から前記使用者の眼の像を撮像するように、前記使用者の眼の下部に設置されていること、を特徴とする、視線検知装置。
【請求項２】
一または複数のディスプレイを有し、
前記ディスプレイと、前記一部反射面と、前記カメラとが前記使用者の頭部に装着可能なケーシング内に格納され、
全体としてヘッドマウントディスプレイである、
請求項１に記載の視線検知装置。
【請求項３】
前記一部反射面に対して面直方向に設置された一または複数のレンズを有し、
前記一部反射面と前記カメラと前記レンズとが前記使用者の頭部に装着可能なケーシング内に格納され、
前記ケーシングが別体のディスプレイに対し着脱可能である、
請求項１に記載の視線検知装置。
【請求項４】
前記一部反射面が、可視光を透過し赤外光を反射するホットミラーである、
請求項１に記載の視線検知装置。
【請求項５】
前記カメラが前記使用者の両眼を撮像し、視差により前記使用者の眼の焦点の空間上の座標を算出する、
請求項１に記載の視線検知装置。
【請求項６】
前記カメラの光軸は、前記使用者の眼軸と、前記一部反射面との交点と交わらない、
請求項１に記載の視線検知装置。
【請求項７】
入射する光の一部を反射し一部を透過する一または複数の一部反射面と、
一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラと、
ディスプレイとを備え、
前記一部反射面は、前記ディスプレイ全面を覆うようにして、前記ディスプレイに対して平行に設けられており、
前記カメラが、使用者の眼に対して面直方向に設置された前記一部反射面による反射を経由して、前記使用者の眼を撮像し、
前記カメラが、前記一部反射面に写る前記使用者の眼を直接撮像可能なように前記一部反射面から離隔して、前記使用者の眼に対する面直方向よりも前記使用者の眼の下方から前記使用者の眼の像を撮像するように、前記使用者の眼の下部に設置されていること、を特徴とする、視線検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ（ＨＭＤ）等に用いられる視線検知装置に関する。
【背景技術】
【０００２】
従来は、眼球を撮像することにより、使用者の焦点の位置を計算するカメラでは、一部反射面の角度を約45度傾け、カメラと使用者の眼を結ぶ光路が略直角に反射していた（先刻文献３）。
このことはＨＭＤ等、使用者の頭部に装着する装置においても同様である（先行文献１）。【０００３】
ＨＭＤにおいて、使用者の首の運動により映像表示手段による映像を変化させる技術は、先行文献２に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０８９３３
【０００５】
【特許文献２】特開平８−１７９２３９
【０００６】
【特許文献３】特開平０５−０７６４９７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、従来の視線検知装置では、使用者の面直方向に対して約４５度傾けた角度で一部反射面１３を設置し、使用者の眼１０を撮像するカメラ１２を、使用者の眼１０とカメラ１２とを結ぶ光路において反射角が約４５度になるように設置していた（図７）。そのため、使用者の眼１０の前に一部反射面を斜めに設置するためのスペースを必要とし、装置の小型化を阻害する要因になっていた。【０００８】
また、装置の小型化のために、小さいサイズの一部反射面を用いると、使用者の眼１０とディスプレイ１４との間に一部反射面の切れ目が存在することになり、一部反射面の切れ目における光の屈折や反射によって意図しない視覚効果が生じてしまい、映像表現に支障をきたしていた。
このように、従来は装置の小型化と正確な映像表現を両立させることができなかった。【０００９】
従来の視線検知装置では、使用者の眼１０を撮像するカメラ１２が使用者の眼の上部に設置されており、使用者が少し瞼を落とすと、映像を視聴していても瞼や上まつ毛によってカメラ１２による使用者の眼１０の撮像が妨げられることがあった。
【課題を解決するための手段】
【００１０】
上記目的は、入射する光の一部を反射し一部を透過する一または複数の一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラとを備え、カメラと使用者の眼とが、使用者の眼に対して面直方向に設置された一部反射面による反射を経由して、使用者の眼を撮像することを特徴とする、視線検知装置により、達成される。
ここで、使用者の眼を撮像するカメラが、一部反射面を経由して使用者の眼を撮像し、使用者の視界の外に設置される。そのため、使用者の視界を遮ることなく使用者の眼を撮像する位置に設置される。【００１１】
本発明による目的は、視線検知装置が一または複数のディスプレイを有し、ディスプレイと、一部反射面と、カメラとが使用者の頭部に装着可能なケーシング内に格納され、全体としてヘッドマウントディスプレイである場合にも達成される。【００１２】
本発明による目的は、視線検知装置が一部反射面に対して面直方向に設置された一または複数のレンズを有し、一部反射面とカメラとレンズとが使用者の頭部に装着可能なケーシング内に格納され、別体のディスプレイに対し着脱可能である場合にも達成される。【００１３】
本発明による視線検知装置は、好ましくは、一部反射面が、可視光を透過し赤外光を反射するホットミラーである。【００１４】
本発明による視線検知装置は、好ましくは、カメラが使用者の眼の下部に設置されている。【００１５】
本発明による視線検知装置は、好ましくは、カメラが使用者の両眼を撮像し、視差により使用者の視線の空間上の焦点の座標を算出する。
【発明の効果】
【００１６】
上記構成によれば、入射する光の一部を反射し一部を透過する一または複数の一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析する一または複数のカメラとを備え、一部反射面が使用者の眼と面直方向に設置されている。
従って、図７に示すように一部反射面が斜めに設置されていた従来品に比べ、一部反射面を斜めに設置するためのスペースが不要であることに加え、ディスプレイと別途に一部反射面を設ける必要がない。このため、ディスプレイの全面を覆う一部反射面を用いても前頭部に必要なスペースが少なくて済む。また、装置の小型化のためにサイズの小さい一部反射面を用いる必要がないため、一部反射面の淵が視界に入ることによる映像表現に対する影響がなくて済む。
このように、一部反射板が使用者の眼と面直方向に設置されることにより、装置の小型化と正確な映像表現を両立させている。【００１７】
一部反射面と、一部反射面に反映された使用者の眼を撮像し視線を解析するカメラとを備えることにより、ディスプレイにより発せられた光が使用者の眼に届けられると同時に、使用者の眼を撮像する光が一部反射面によって使用者の視界の外に届けられる。このため、カメラが使用者の映像の視聴を妨げない位置に設置される。【００１８】
視線検知装置がＨＭＤでない場合においては、使用者は一部反射面を通じて外部の光景を視認しつつ、視線検知装置に設置されたカメラによって使用者の眼が撮像され、使用者の視線が装置に入力される。  【００１９】
一部反射面が、可視光を透過し赤外光を反射するホットミラーである場合には、一部反射面としてのホットミラーが視覚に与える影響が小さく、映像表現に対する影響が少ない。【００２０】
視線検知装置がＨＭＤである場合において、レンズ、カメラ、及び一部反射面がケーシング内に組み込まれ、ディスプレイに対して着脱可能である場合には、本発明外の既存のＨＭＤに外付けのケーシングを取り付けることにより視線検知機能を導入し、本発明の視線検知装置とすることができる。【００２１】
通常のディスプレイにケーシングが組み込まれる場合には、通常のディスプレイを３Ｄ映像表示用ディスプレイとして使用することができる。【００２２】
使用者が瞼を少し落とした時は、瞼が眼球の上半分を覆うことになる。眼の上部に設置されたカメラでは、上の角度から使用者の眼を撮像するため、使用者の瞼や瞼から生えた上まつ毛によってカメラによる撮像が妨げられていた。使用者の眼を撮像するカメラが使用者の眼の下部に設置されている場合には、眼の上部にカメラが設置されていた従来品に比べ、使用者の眼を下の角度から撮像するため、使用者の眼を確実に撮像できる。【００２３】
カメラが使用者の両眼を撮像し、視差により使用者の眼の焦点の空間上の座標を算出する場合には、両眼視差に基づいて輻輳角が算出されることによって、視線の上下左右のみならず前後の位置も入力される。
【図面の簡単な説明】
【００２４】
【図１】本発明がＨＭＤである場合の第一実施形態の構造図である。
【図２】本発明がＨＭＤでない場合の第一変形例の構造図である。
【図３】赤外線によって使用者の眼を撮像するＨＭＤにおいて、赤外線照射装置を用いる場合の第二変形例の構造図である。
【図４】カメラがレンズと一体となって取り付けられ、一部反射面とともにケーシング内に組み込まれ、ディスプレイに対して着脱可能である場合の第三変形例の構造図である。
【図５】両眼を撮像する場合の第四変形例の構造図である。
【図６】ディスプレイが一部反射面の役割を担う第五変形例の構造図である。
【図７】一般的な従来のＨＭＤの構造図である。
【発明を実施するための形態】
【００２５】
図１は、本発明による視線検知装置がＨＭＤである場合の第一実施形態を組み込んだ構成を示している。
図１に示すように、第一実施形態における視線検知装置は、可視光を透過し赤外線のみを反射する、一部反射面としてのホットミラー１３ａと、ホットミラー１３ａに反映された使用者の眼１０を撮像し視線を解析するカメラ１２とを備え、ホットミラー１３ａが使用者の眼１０の前に、使用者の眼１０と面直方向に設置されていることを特徴とする。
【００２６】
ホットミラー１３ａと、ホットミラー１３ａに反映された使用者の眼１０を撮像し視線を解析する一または複数のカメラとを備えることにより、ディスプレイ１４により発せられた光が使用者の眼１０に届けられると同時に、使用者の眼１０を撮像する赤外光がホットミラー１３ａによって使用者の視界の外に届けられる。このため、カメラ１２が使用者の映像の視聴を妨げない位置に設置される。
一部反射面としてホットミラー１３ａを用いることにより、一部反射面が視覚に与える影響が小さく、映像表現に対する影響が小さい。
使用者の視界内において、ディスプレイ１４の全面が、一部反射面としてのホットミラー１３ａによって覆われる。
【００２７】
レンズ１１は、使用者に届けられる焦点距離を調整する。
例えば第一実施形態においては、ディスプレイ１４が約２０ｍｍの近さにあるため、レンズ１１がなければ使用者はディスプレイ１４の映像をはっきりと見ることが困難である。
そこで、レンズ１１によってディスプレイ１４の焦点距離が変化し、使用者に見やすい焦点距離に調整される。
【００２８】
カメラ１２は一部反射面としてのホットミラー１３ａの反射を介して使用者の眼１０を撮像する。
一部反射面としてホットミラー１３ａが用いられることにより、カメラ１２が使用者の眼１０を撮像しつつ、カメラ１２を使用者の視界に入らない位置に設置することが可能となる。
カメラ１２によって撮像された画像により、使用者の視線、眼球移動頻度、眼球振盪が測定される。
【００２９】
一部反射面としてのホットミラー１３ａが使用者の眼と面直方向に設置されることにより、図７に示すように一部反射面１３が斜めに設置されていた従来品に比べ、一部反射面１３を斜めに設置するためのスペースが不要となり、前頭部に必要なスペースが少なくて済む。例えば図１に示す例では、カメラ１２と使用者の眼１０を結ぶ光路が、２２．１３度の角度で反射される。
このとき、ディスプレイ１４は、厚さ５ｍｍ、幅７８．０３ｍｍである。
また、使用者の眼１０とディスプレイ１４との距離は、約２０ｍｍである。
【００３０】
ディスプレイ１４は、第一実施形態において使用者に映像を提供する装置であり、小型で解像度の高いものが用いられる。
【００３１】
第一実施形態においては使用者の眼１０を撮像するカメラ１２が使用者の眼１０の下部に設置されている。使用者の瞼や上まつ毛がカメラ１２による撮像を邪魔しないため、使用者の眼１０を確実に撮像できる。
【００３２】
図２は、本発明による視線検知装置がＨＭＤでない場合における第一変形例である。使用者は装置を装着しながら、一部反射面１３を透過した光によって外部の光景を見ることができる。
使用者の眼前には、パーソナルコンピューター用のモニター等、装着部品外の映像表示手段が設置されている。視線検知装置に設置されたカメラ１２によって使用者の眼１０が撮像され、使用者の視線が装置に入力される。
【００３３】
図３は一部反射面としてホットミラー１３ａが使用される場合において、使用者の眼１０を照射する赤外線照射装置２０を備えた場合における本発明の第二変形例である。映像の可視光が一部反射面としてのホットミラー１３ａで透過されて使用者の眼１０に届けられつつ、カメラとしての赤外線カメラ１２ａがホットミラー１３ａの反射を介して使用者の眼１０を撮像する。使用者の眼１０を確実に撮像するため、赤外線照射装置２０によって使用者の眼１０に赤外線が当てられる。
【００３４】
カメラ１２および一部反射面１３はそれぞれ一つまたは複数設置されている。また、カメラ１２が一つのみ設置されている場合でも、カメラ１２によって使用者の片目のみを撮像する場合と両眼を撮像する場合がある。
【００３５】
図４は使用者の眼１０とディスプレイ１４との間に着脱可能なケーシング１５を備えた第三変形例である。一部反射面としてのホットミラー１３ａに対して面直方向に設置された一または複数のレンズ１１を有し、レンズ１１、赤外線カメラ１２ａ、ホットミラー１３ａ、及び赤外線照射装置２０からなるケーシング１５が別体のディスプレイ１４から着脱可能である。
第三変形例において、既存のＨＭＤの交換部品として、ケーシング１５が取り付けられる場合もある。この場合、視線検知装置を設けたＨＭＤは省スペース仕様ではなく、使用者の眼１０とディスプレイ１４との間の距離は従来のＨＭＤのものであるが、使用者はＨＭＤ全体を買い替えることなくＨＭＤに本発明の視線検知装置を導入することができる。
【００３６】
第三変形例において、通常のディスプレイが３Ｄ映像表示用ディスプレイとして使用される場合には、ディスプレイが中央で区切られることにより左右の領域に分割されて使用される。ディスプレイの左右にそれぞれ左目と右目に対応する映像が使用者に提供される。このディスプレイに別体のケーシング１５が取り付けられることにより、視線検知装置が導入される。
【００３７】
図５はカメラ１２によって使用者の両眼を撮像する第四変形例である。カメラ１２が使用者の両眼を撮像し、視差１６により使用者の眼１０の視点１７の空間上の座標を算出する第四変形例においては、使用者の平面画面上の上下左右のみならず、前後も含めた立体空間上の視点１７の座標が装置への入力がされる。
【００３８】
図６は、ディスプレイ自体が一部反射面の役割を担う、ディスプレイ兼一部反射面１３ｂを用いた第五変形例である。ディスプレイ兼一部反射面１３ｂの反射を利用して使用者の眼１０を撮像する場合も同様に、一部反射面を斜めに設置するスペースが不要であるため、前頭部に必要なスペースが少なくて済み、かつ、一部反射面の淵による映像表現に対する影響もなくて済む。
【産業上の利用可能性】
【００３９】
本発明は、その趣旨を逸脱しない範囲において様々な形態において実施することができる。
例えば、上述した実施形態において、使用者の視線、眼球移動頻度、眼球振盪及び顔の向きが入力されるが、その他に瞳孔の大きさの変化や瞼の位置、瞬きの頻度や眼の潤い等が入力されてもよい。【００４０】
上述した視線検知装置がＨＭＤでない場合において、一部反射面１３は立体映像視聴用のメガネであってもよい。【００４１】
カメラ１２が使用者の眼１０の下部に設置される場合においては、カメラ１２は眼の真下であっても、顔の中心寄りの位置であっても、顔の外側寄りの位置であってもよい。【００４２】
一部反射面に透過光と反射光が約１対１の割合であるハーフミラーが用いられてもよい。ディスプレイ１４の映像の光の一部が一部反射面としてのハーフミラーにより透過して使用者にディスプレイ１４の映像を提供しつつ、使用者の眼１０を撮像する光はハーフミラーによって一部反射され、カメラ１２に届く。
【符号の説明】
【００４３】
１  ＨＭＤ型の本発明による視線検知装置
１ａ  赤外線照射装置付きのＨＭＤ型の本発明による視線検知装置
１０  眼
１１  レンズ
１２  カメラ
１２ａ  赤外線カメラ
１３  一部反射面
１３ａ  ホットミラー
１３ｂ  ディスプレイ兼一部反射面
１４  ディスプレイ
１５  ケーシング
１６  視差
１７  視点
２０  赤外線照射装置
【図１】
0006539654.tif 000002
【図２】
0006539654.tif 000003
【図３】
0006539654.tif 000004
【図４】
0006539654.tif 000005
【図５】
0006539654.tif 000006
【図６】
0006539654.tif 000007
【図７】
0006539654.tif 000008