(57)【要約】【課題】ユーザに対し正確な三次元画像を提供するためのデータを容易に生成するデータ生成装置と、そのようなデータを利用可能な映像システムを提供する。【解決手段】本発明に係るデータ生成装置は、眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得する画像対取得部と、前記第１可視光撮影画像及び前記第１赤外撮影画像の特徴を比較して、前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得し、学習済みモデルを生成する機械学習部とを備える。【選択図】図１
2020009064.tif 000002
【特許請求の範囲】
【請求項１】
眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得する画像対取得部と、
前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得して学習済みモデルを生成する機械学習部と
を備えたことを特徴とするデータ生成装置。
【請求項２】
前記第１可視光撮影画像とは別の可視光画像を入力させる可視光画像入力部と、
前記可視光画像及び前記学習済みモデルに基づいて赤外画像を生成する赤外画像生成部と
を備えた、請求項１に記載のデータ生成装置。
【請求項３】
前記機械学習部は、前記可視光画像と前記赤外画像との対に基づき、前記学習済みモデルを再構成する、請求項２記載のデータ生成装置。
【請求項４】
前記赤外画像生成部は、前記可視光画像の特徴量を取得し、前記可視光画像の特徴量と近似する特徴量を有する前記第１可視光撮影画像を特定し、特定された前記第１可視光撮影画像と対をなす前記第１赤外撮影画像との間の特徴量の差に基づいて前記赤外画像を生成する、請求項３に記載のデータ生成装置。
【請求項５】
前記機械学習部は、前記特徴量、並びに前記第１可視光撮影画像及び前記第１赤外撮影画像の属性情報に基づき前記学習済みモデルを生成する、請求項１に記載のデータ生成装置。
【請求項６】
前記第１可視光撮影画像とは別の可視光画像を入力させる可視光画像入力部と、
前記可視光画像の属性情報を入力させる属性情報入力部と、
前記可視光画像、前記属性情報及び前記学習済みモデルに基づいて赤外画像を生成する赤外画像生成部と
を備えた、請求項５に記載のデータ生成装置。
【請求項７】
赤外光を照射してユーザの視線の方向を検出する視線検出部と、
可視光で撮像された眼の可視光撮影画像の特徴量と、赤外光で撮像された同一の眼についての赤外撮影画像との特徴量とに基づいて生成される学習済みモデルを記憶する学習済みモデル記憶部と
を備え、
前記視線検出部は、前記赤外光を照射して得られた赤外画像と、前記学習済みモデルとに従い、前記視線の方向を検出するよう構成された、映像システム。
【請求項８】
眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得するステップと、
前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得して学習済みモデルを生成するステップと
前記第１可視光撮影画像とは別の可視光画像を入力させるステップと、
前記可視光画像及び前記学習済みモデルに基づいて赤外画像を生成するステップと、
を備えた、データ生成方法。
【請求項９】
前記可視光画像と前記赤外画像との対に基づき、前記学習済みモデルを再構成するステップを更に備えた、請求項８に記載のデータ生成方法。
【請求項１０】
前記赤外画像を生成するステップは、前記可視光画像の特徴量を取得し、前記可視光画像の特徴量と近似する特徴量を有する前記第１可視光撮影画像を特定し、特定された前記第１可視光撮影画像と対をなす前記第１赤外撮影画像との間の特徴量の差に基づいて前記赤外画像を生成する、請求項９に記載のデータ生成方法。
【請求項１１】
前記学習済みモデルを生成するステップは、前記特徴量、並びに前記第１可視光撮影画像及び前記第１赤外撮影画像の属性情報に基づき前記学習済みモデルを生成する、請求項８に記載のデータ生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ等の映像システムにおいて使用され得るデータを生成するためのデータ生成装置、映像システム、及びデータ生成方法に関する。
【背景技術】
【０００２】
現在、ゲームや映像において仮想現実（ＶＲ）を提供するため、立体画像を提供することが可能なヘッドマウントディスプレイの普及が加速している。ヘッドマウントディスプレイは、ユーザの頭部を覆う筐体の内部においてユーザに対し立体画像を提供する映像提供装置である。このようなヘッドマウントディスプレイにおいては、ユーザの視線方向を検出する視線検出器を設け、その視線方向の映像のみを高解像度化するなど、立体画像を変化させるように構成された装置も知られている（例えば、特許文献１参照）。
【０００３】
ヘッドマウントディスプレイにおけるユーザの視線の検出は、ユーザに眩しさを感じさせないように、赤外光を眼に照射し、赤外光で照射された眼の画像（赤外画像）の瞳孔等の位置を検出することにより行われる。このとき、赤外光を照射して得られた画像と視線方向との関係を正確に把握するためには、多数の眼の赤外光画像データを収集・分析し、その分析の結果を視線方向の演算に反映させることが必要である。しかし、眼の動作をシミュレートするシミュレータは、可視光画像を対象としており、赤外画像を分析の対象とするシミュレータは存在しない。このため、多数の眼の赤外光画像データを取得し、ヘッドマウントディスプレイにおける視線検出等に用いることは困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１３４３７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、多数の眼の赤外光画像のデータの収集を容易にするデータ生成装置と、そのようなデータを利用可能な映像システム及びデータ生成方法を提供するものである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明に係るデータ生成装置は、眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得する画像対取得部と、前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得し、学習済みモデルを生成する機械学習部とを備える。
【０００７】
また、本発明に係る映像システムは、赤外光を照射してユーザの視線の方向を検出する視線検出部と、可視光で撮像された眼の可視光撮影画像の特徴量と、赤外光で撮像された同一の眼についての赤外撮影画像との特徴量とに基づいて生成される学習済みモデルを記憶する学習済みモデル記憶部とを備え、前記視線検出部は、前記赤外光を照射して得られた赤外画像と、前記学習済みモデルとに従い、前記視線の方向を検出するよう構成される。
【０００８】
また、本発明に係るデータ生成方法は、眼を可視光及び赤外光で撮影して第１可視光撮影画像及び第１赤外撮影画像の対を取得するステップと、前記第１可視光撮影画像及び前記第１赤外撮影画像の関係を示す特徴量を取得して学習済みモデルを生成するステップと前記第１可視光撮影画像とは別の可視光画像を入力させるステップと、前記可視光画像及び前記学習済みモデルに基づいて赤外画像を生成するステップと、を備える。
【発明の効果】
【０００９】
本発明によれば、多数の眼の赤外光画像のデータの収集を容易にするデータ生成装置と、そのようなデータを利用可能な映像システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係るデータ生成装置１を説明する概略図である。
【図２】機械学習部１６における学習済みモデルの生成手順、及び赤外画像Ｒｏの生成手順を説明する概念図である。
【図３】機械学習部１６における特徴量の算出の手順の一例を説明する概念図である。
【図４】赤外画像生成部１８において、可視光画像Ｖｏに基づいて赤外画像Ｒｏを生成する方法の一例を説明する概念図である。
【図５】第２の実施の形態に係るデータ生成装置１を説明する概略図である。
【図６】第２の実施の形態の機械学習部１６における学習済みモデルの生成手順、及び赤外画像Ｒｏの生成手順を説明する概念図である。
【図７】映像システム２の概観を示す模式図である。
【図８】筐体１１０が収容する画像提示部１４０の構成を模式的に示す斜視図である。
【図９】筐体１１０が収容する画像提示部１４０の構成を模式的に示す側面図である。
【図１０】映像システム２を構成するヘッドマウントディスプレイ１００と映像再生装置２００の主要部の構成を示すブロック図である。
【図１１】変形例を示す概略図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
【００１２】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【００１３】
[第１の実施の形態]
図１を参照して、第１の実施の形態に係るデータ生成装置１を説明する。このデータ生成装置１は、撮像装置１１と、ＣＰＵ１２と、可視光撮影画像記憶部１３と、赤外撮影画像記憶部１４と、可視光画像入力部１５と、機械学習部１６と、学習済みモデル記憶部１７と、赤外画像生成部１８とを備える。
【００１４】
撮像装置１１は、撮影対象である眼Ｅを可視光及び赤外光にてそれぞれ撮影して可視光撮影画像Ｖｊ（第１可視光撮影画像）及び赤外撮影画像Ｒｊ（第１赤外撮影画像）の対を取得するための画像対取得部である。後述するように、可視光撮影画像と赤外撮影画像とを同一の眼について取得し、特徴量を比較することで、赤外光で視線検出を行うヘッドマウントディスプレイ等の映像システムにおいて有用なデータを収集することが可能になる。
【００１５】
撮像装置１１は、一例として、可視光光源１００１と、赤外光光源１００２と、対物レンズ１００３と、ダイクロイックミラー１００４と、結像レンズ１００５と、可視画像カメラ１００６と、結像レンズ１００７と、赤外カメラ１００８とを備える。
【００１６】
可視光光源１００１は、可視光撮影のための可視光を発する光源であり、例えば３６０〜７８０ｎｍの波長の全領域又はその一部の波長を成分として含む光を照射する。カラー撮影のためには、上述の波長域の全領域又は大部分の波長成分を有する光とすることが好ましい。波長域に関しては、目的とする撮像が可能であれば、上記波長域のうちの特定の波長域に限定されていてもよい。一方、赤外光光源１００２は、赤外光撮影のための赤外光を発する光源であり、例えば７８０〜２５００ｎｍ程度の波長を有する光を照射する。
【００１７】
対物レンズ１００３は、撮影対象の眼Ｅの前に配置され、眼Ｅからの光を集光させる機能を有する。眼Ｅから出て対物レンズ１００３で集光された光は、ダイクロイックミラー１００４で反射又は透過して結像レンズ１００５又は１００７に入射し、可視画像カメラ１００６又は赤外カメラ１００８に入射する。ダイクロイックミラー１００４は、赤外光を反射し、可視光を透過させる性質を有する。
【００１８】
ＣＰＵ１２は、データ生成装置１における全体の制御を司る演算制御部の一例である。ＣＰＵ１２に代えて、ＧＰＵ（Graphics Processing Unit）を採用することも可能である。また、可視光撮影画像記憶部１３、及び赤外撮影画像記憶部１４は、撮像装置１１で撮影された可視光撮影画像、及び赤外撮影画像を記憶する記憶部である。撮像装置１１で撮影された同一の眼Ｅについての可視光撮影画像及び赤外撮影画像は、例えばシリアル番号によって関連付けられて対の画像データとして保存される。関連付けの手法は、シリアル番号に限定されるものではなく、例えば保存場所のアドレスを同一にすることにより関連付けを行っても良い。
【００１９】
可視光画像入力部１５は、撮像装置１１とは別に、眼の可視光画像を入力するためのデータ入力部である。可視光画像入力部１５は、眼の画像を入力する部分ではあるが、撮像装置１１とは異なり、可視光撮影画像と赤外撮影画像との対を入力するものではなく、可視光撮影画像のみを入力する部分である。入力された可視光撮影画像は、後述するように赤外画像生成部１８に基づいて赤外画像を生成するための元データとされる。可視光画像入力部１５は、例えば単にネットワークに接続されて外部から眼の画像を入力可能なインタフェースであってもよいし、撮像装置１１とは別のカメラ等であってもよい。
【００２０】
機械学習部１６は、図２に示すように、撮像装置１１により得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊ（ｊ＝１〜ｎ）を、所定の画像解析手法を用いて解析する。そして、機械学習部１６は、その解析結果に基づいて可視光撮影画像、赤外撮影画像のそれぞれについて特徴量Ｆｖｊ、Ｆｒｊを算出し、更に２つの特徴量の差ΔＦ（＝Ｆｖｊ−Ｆｒｊ）を算出する。機械学習部１６は、この特徴量の差ΔＦのデータを収集し、可視光撮影画像と赤外撮影画像の特徴量の差に関する学習済みモデルを生成し、学習済みモデル記憶部１７に記憶させる。
【００２１】
同一の眼Ｅから得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒｊであっても、可視光と赤外光との波長の差により、可視光撮影画像Ｖｊと赤外撮影画像Ｒｊは異なる特徴量を有する。機械学習部１６は、この特徴量の差ΔＦを画像対ＥＰｊのそれぞれに関し収集し、この差ΔＦに基づいて学習済みモデルを生成する。特徴量の差ΔＦは、可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの関係を示す特徴量の一例である。
【００２２】
人間の眼は、眼球の色、瞳孔の大きさ、眼の長さ、高さ、縦横比、白目部分の色、肌の色、睫毛の長さなどにおいて異なり、これらも特徴量に影響を与える。このため、このデータ生成装置１では、撮像装置１１により少なくとも数十人程度の眼の撮像を行って可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの対を取得し、可視光撮影画像と赤外撮影画像との間の特徴量の差Ｆのデータを収集する。収集させた特徴量の差のデータ群は、機械学習部１６において機械学習の対象とされる。
【００２３】
特徴量の算出の一例を、図３を参照して説明する。ここでは、一例として、局所画像特徴量の算出方法として周知のＳＩＦＴ（Scaled In variance Feature Transform）を用いて可視光撮影画像Ｖｊ、赤外撮影画像Ｒｊの特徴量を算出する場合を説明する。ＳＩＦＴはあくまでも一例であり、他の特徴量抽出方法を用いてもよいことは言うまでもない。
【００２４】
可視光撮影画像Ｖｊ、赤外撮影画像Ｒｊが得られると、まず特徴点の検出が行われる。例えば、図３に示すように、可視光撮影画像Ｖｊにおいて、眼の瞳孔のエッジ上の特徴点Ｐｃ１〜Ｐｃ４、黒目と白目の境界上の特徴点Ｂｃ１〜Ｂｃ６、及び瞼の境界上の特徴点Ｌｃ１〜Ｌｃ４などが検出される。また、赤外撮影画像Ｒｊにおいて、眼の瞳孔のエッジ上の特徴点Ｐｉ１〜Ｐｉ４、黒目と白目の境界上の特徴点Ｂｉ１〜Ｂｉ６、及び瞼の境界上の特徴点Ｌｉ１〜Ｌｉ４が検出される。特徴点は、一例として原画像に対し繰り返しガウシアン平滑化を行い、その差分画像を取得し、差分画像の変化の極大を検索することで検出することができる。
【００２５】
特徴点が検出されたら、それぞれの特徴点の周囲の勾配情報を取得し特徴量として算出する。そして、これらの特徴点の特徴量の集合を、それぞれの画像の特徴量Ｆｖｊ、Ｆrｊとして算出し、さらに両者の差ΔＦを算出する。
【００２６】
このようにして、複数の眼Ｅｊ（ｊ＝１〜ｎ）について、可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとが得られ、それぞれについて特徴量Ｆｖｊ、Ｆｒｊ、差ΔＦのデータの集合が得られると、これらのデータにより、どのような眼において、どのような特徴量の差ΔＦが得られる傾向にあるかを示す学習済みモデルが機械学習部１６における機械学習の結果として得られる。この学習済みモデルは、学習済みモデル記憶部１７に記憶される。
【００２７】
学習済みモデルは、多数の眼Ｅについて可視光撮影画像Ｖｊと赤外撮影画像Ｒｊを得て、それぞれ特徴量を算出することで、より正確なものとなり得る。ただし、ヘッドマウントディスプレイの潜在的なユーザのすべての対応するためには、数千、数万のデータ対が必要となるが、そのような多数の眼について撮像装置１１からデータ取得することは、可能ではあるが、長い時間とコストを必要とする。
【００２８】
そこで、この第１の実施の形態のデータ生成装置では、図２に示すように、撮像装置１１において複数の眼Ｅについて可視光撮影画像Ｖｊと赤外撮影画像Ｒｊの画像対ＥＰｊを得てこれに基づいて学習済みモデルを生成した後、撮像装置１１とは別に得られた可視光画像Ｖｏを可視光画像入力部１５から入力させる。そして、更にこの可視光撮影画像Ｖｏを機械学習部１６に入力させる。機械学習部１６は、この新たに入力された可視光画像Ｖｏの特徴量Ｆｏを算出し、赤外画像生成部１８は、その特徴量Ｆｏと、学習済みモデル記憶部１７に記憶された学習済みモデルとに基づいて、対応する赤外画像Ｒｏを生成する。入力された可視光画像Ｖｏと、生成された赤外画像Ｒｏとは、撮像装置１１で撮像された可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊと同様に取り扱われ、学習済みモデルを更新（再構成）するためのデータとしても用いられる。
【００２９】
図４の概念図を参照して、可視光画像Ｖｏに基づいて赤外画像Ｖｏを生成する方法を説明する。図４において、黒丸の点と白丸の点は、それぞれ、撮像装置１１により得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒｊを示している。図４の左側の図のように、複数の可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの対のデータである画像対ＥＰｊが多数取得される。撮像装置１１で撮像された画像対ＥＰｊが数十個〜数百個得られると、これに基づいて機械学習部１６において学習済みモデルＭ１が生成される。
【００３０】
その後、可視光画像Ｖｏが可視光画像入力部１５から別途得られると、機械学習部１６は、その可視光画像Ｖｏの特徴量Ｆｏを算出するとともに、その特徴量Ｆｏと近似した特徴量を有する可視光撮影画像Ｖｊａｄを学習済みモデルＭ１の生成に使われた画像対ＥＰｊの中から抽出し、さらにこれに対応する赤外撮影画像Ｒｊａｄを抽出する。ここで、抽出される可視光撮影画像Ｖｊａｄ、赤外撮影画像Ｒｊａｄは１組でもよいし、複数組とすることも可能である。ここでは、説明の簡略化のため、１つであるとして説明をする。
【００３１】
赤外画像生成部１８は、抽出された可視光撮影画像Ｖｊａｄと赤外撮影画像Ｒｊａｄとの間の特徴量の差ΔＦａｄに基づき、赤外画像Ｒｏを生成する。すなわち、可視光画像Ｖｏと赤外画像Ｒｏとの間の特徴量の差ΔＦｏが、上述の特徴量ΔＦａｄと同一又は近似した値となるように、赤外画像Ｒｏを決定する。こうして、可視光画像Ｖｏと赤外画像Ｒｏとの組み合わせに基づき、機械学習部１６において新たな学習済みモデルＭ１’が再構成される。このようにして生成された可視光画像Ｖｏと赤外画像Ｒｏは、それぞれ可視光撮影画像記憶部１３及び赤外撮影画像記憶部１４に記憶される。記憶させる場合、両画像データには、両者を紐付けするためのデータ（シリアル番号等）が付加される。
【００３２】
以上説明したように、この第１の実施の形態のデータ生成装置によれば、複数の眼について可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊを取得し、この画像対ＥＰｊに基づいて、可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊの関係を示す特徴量の差ΔＦを取得する。この差ΔＦの集合に基づき、学習済みモデルが生成される。
【００３３】
また、この第１の実施の形態によれば、撮像装置１１の撮影により得られた画像対ＥＰｊだけでなく、撮像装置１１とは別に得られた可視光画像Ｖｏを入力させ、この入力された可視光画像Ｖｏに対応する赤外画像Ｒｏを、得られた学習済みモデルから推定することができる。このようにして得られた可視光画像Ｖｏと赤外画像Ｒｏの画像対を用いて、学習済みモデルを再構築（補正）することができる。後述するように、生成された可視光画像Ｖｏと赤外画像Ｒｏの画像対は、撮像された画像対ＥＰｉと同様に、ヘッドマウントディスプレイ等の映像システムにおいて、視線検出に用いられ得る。
【００３４】
［第２の実施の形態］
図５を参照して、第２の実施の形態に係るデータ生成装置１を説明する。図５において、図１と同一の構成要素については同一の参照符号を付しているので、以下では重複する説明は省略する。この第２の実施の形態のデータ生成装置１は、第１の実施の形態の構成要素に加え、属性情報記憶部１９、及び属性情報入力部２０を更に備えている。
【００３５】
属性情報記憶部１９は、撮像装置１１で撮像されて可視光撮影画像記憶部１３に入力された可視光撮影画像Ｖｊについての属性情報（例えば、眼の色、肌の色、眼の幅、高さ、角膜の曲率、病歴、その他）を記憶するための記憶部である。この属性情報は、撮像装置１１から供給されても良いし、図示しない通信部から受領されてもよいし、入力の手法は不問である。この属性情報は、機械学習部１６において、可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊと共に、機械学習のための元データとして用いられる。可視光撮影画像Ｖｊだけでなく、属性情報も関連付けて学習データとすることにより、より撮影対象とされた眼Ｅの特性を正確に反映した学習が可能になる。
【００３６】
また、この第２の実施の形態は、可視光画像入力部１５から入力される可視光画像Ｖｏの属性情報を入力するための属性情報入力部２０も有している。この属性情報入力部２０から入力される属性情報は、可視光画像Ｖｏと共に、赤外画像生成部１８において、可視光画像Ｖｏと対になる赤外画像Ｒｏを生成するために用いられる。赤外画像Ｒｏの生成において属性情報が入力データとして使用されることにより、より可視光画像Ｖｏの特徴を反映して赤外画像Ｒｏを生成することができる。
【００３７】
機械学習部１６は、図６に示すように、得られた可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊ（ｊ＝１〜ｎ）を、所定の画像解析手法を用いて解析し、可視光撮影画像、赤外撮影画像のそれぞれについて特徴量Ｆｖｊ、Ｆｒｊを算出し、更に２つの特徴量の差ΔＦ（＝Ｆｖｊ−Ｆｒｊ）を算出する。機械学習部１６は、この特徴量の差ΔＦのデータと対応する属性情報とを関連付けて収集し、可視光撮影画像Ｖｊと赤外撮影画像Ｒｊの特徴量の差、及び属性情報に関する学習済みモデルを生成し、学習済みモデル記憶部１７に記憶させる。
【００３８】
また、学習済みモデルを生成した後、撮像装置１１とは別に得られた可視光画像Ｖｏを可視光画像入力部１５から入力させるとともに、その属性情報も属性情報入力部２０から入力させる。機械学習部１６は、この新たに入力された可視光画像Ｖｏの特徴量を算出するとともに、その属性情報も分析する。赤外画像生成部１８は、その特徴量、学習済みモデル、及び可視光画像Ｖｏの属性情報に基づいて、対応する赤外画像Ｒｏを生成する。入力された可視光画像Ｖｏと、生成された赤外画像Ｒｏとは、撮像装置１１で撮像された可視光撮影画像Ｖｊと赤外撮影画像Ｒｊとの画像対ＥＰｊと同様に取り扱われ、学習済みモデルを更新するためのデータとしても用いられる。
【００３９】
以上説明したように、第２の実施の形態によれば、第１の実施の形態と同一の効果を得ることができるとともに、更に属性情報を学習済みモデルの生成に用いることで、より眼の特性を正確に反映して学習済みモデルを生成することができる。
【００４０】
[学習済みモデルの利用形態]
上述したように、上記実施の形態のデータ生成装置１で生成されたデータ（学習済みモデル）は、ヘッドマウントディスプレイ等の映像システム、特に視線検出装置を有する映像システムにおいて有効に利用することができる。
【００４１】
図７は、映像システム２の概観を模式的に示す図である。実施の形態に係る映像システム２は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザの頭部に装着して使用される遮蔽型のヘッドマウントディスプレイであり得る。
【００４２】
映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する映像データを生成し、ヘッドマウントディスプレイ１００に有線又は無線通信により送信する。一例として、映像再生装置２００は、据え置き型のゲーム機、携帯ゲーム機、パソコン、タブレット端末、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生することができる装置である。映像再生装置２００とヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の無線通信技術を用いて実現できる。また、ヘッドマウントディスプレイ１００と映像再生装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）、ＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）、又はイーサネット（商標）等の規格に則って実行される。映像再生装置２００はヘッドマウントディスプレイ１００と一体に構成されるか、ヘッドマウントディスプレイ１００に内蔵されてもよい。
【００４３】
ヘッドマウントディスプレイ１００は、筐体１１０、頭部固定部１２０、及びヘッドフォン１３０を備える。筐体１１０は、後述するように、ディスプレイ、伝送モジュール、各種センサを収容する。頭部固定部１２０は、ヘッドマウントディスプレイ１００をユーザの頭部に装着する部材である。ヘッドフォン１３０は、映像再生装置２００が再生する映像の音声を出力する。
【００４４】
図８は、筐体１１０が収容する画像提示部１４０の構成を模式的に示す斜視図であり、図９はその側面図である。提示部１４０は、赤外光源１４１、画像表示部１４２、ホットミラー１４３、凸レンズ１４４、カメラ１４５、および画像出力部１４６を備える。
【００４５】
赤外光源１４１は、視線検出装置のための光源であって、近赤外（７８０ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。画像表示部１４２は、ユーザに提示するための画像を表示するディスプレイである。画像表示部１４２が表示する画像は、映像再生装置２００内図示しないＧＰＵ（Graphic Processing Unit）が生成する。画像表示部１４２は、例えば既知の液晶ディスプレイや有機ＥＬディスプレイを用いて実現できる。
【００４６】
ホットミラー１４３は、ユーザがヘッドマウントディスプレイ１００を装着したときに、画像表示部１４２とユーザの眼ＥＬ、ＥＲとの間に配置される。ホットミラー１４３は、画像表示部１４２が発する可視光は透過する一方、近赤外光は反射する特性を有する。
【００４７】
凸レンズ１４４は、ホットミラー１４３に対して、画像表示部１４２の反対側に配置される。換言すれば、凸レンズ１４４は、ユーザがヘッドマウントディスプレイ１００を装着したときに、ホットミラー１４３とユーザの眼ＥＬ、ＥＲとの間に配置される。凸レンズ１４４はホットミラー１４３を透過する画像表示のための光を集光する。
【００４８】
赤外光源１４１からユーザの眼ＥＬ、ＥＲに到達した赤外光は、眼ＥＬ、ＥＲで反射され、再び凸レンズ１４４の方向に向かう。凸レンズ１４４を透過した赤外光は、ホットミラー１４３で反射される。カメラ１４５は逆に可視光を遮断するフィルタ（図示せず）を備えており、ホットミラー１４３で反射された近赤外光を撮像する。すなわち、カメラ１４５は、赤外光源１０３から照射され、ユーザの眼ＥＬ、ＥＲで反射された近赤外光を撮像する近赤外カメラである。
【００４９】
画像出力部１４６は、カメラ１４５が撮像した画像を、映像再生装置２００に設けられた視線検出部２０３（後述）に出力する。具体的には、画像出力部１４６は、カメラ１４５が撮像した画像を映像再生装置２００に送信する。視線検出部２０３は、眼ＥＬ、ＥＲと、近赤外光に起因する輝点との位置関係から、ユーザの視線方向を検出することができる。視線検出部２０３は、映像再生装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線検出部を実現するプログラムを実行してもよい。
【００５０】
図１０は、映像システム２を構成するヘッドマウントディスプレイ１００と映像再生装置２００の主要部の構成を示すブロック図である。
ヘッドマウントディスプレイ１００は、制御部１０１と、通信部１０２と、赤外光源１４１と、画像表示部１４２と、カメラ１４５と、画像出力部１４６とを備えている。一方、映像再生装置２００は、制御部２０１と、通信部２０２と、視線検出部２０３と、映像生成部２０４と、学習済みモデル記憶部２０５とを備えている。なお、図示は省略しているが、ヘッドマウントディスプレイ１００は、ヘッドマウントディスプレイ１００の傾斜方向等を検出するためのジャイロセンサ等を備えていても良い。
【００５１】
制御部１０１は、ヘッドマウントディスプレイ１００における各種信号の処理及び信号の入出力等を制御する。通信部１０２と通信部２０２は、ヘッドマウントディスプレイ１００と映像再生装置２００との間でのデータの送受信を制御する。視線検出部２０３は、ヘッドマウントディスプレイ１００から得た信号に従い、眼ＥＬ、ＥＲの視線方向を検出する。赤外光源１４１からの赤外光より照射された眼Ｅの画像がカメラ１４５により撮像されると、その画像は画像出力部１４６により出力され、通信部１０２、２０２を介して視線検出部２０３に入力される。視線検出部２０３は、眼Ｅの画像中の照射スポットの位置等を判別することにより、視線方向を検出することができる。視線検出部２０３は、赤外光により照射された眼Ｅの赤外画像のデータＸと、学習済みモデル記憶部２０５に記憶された学習済みモデルに基づいて決定される算出式に従って視線方向を演算する。ここでの学習済みモデルは、前述の実施の形態のデータ生成装置１で生成され学習済みモデル記憶部１７に記憶される学習済みモデルと対応して生成される。データ生成装置１で生成された画像対ＥＰｊの可視光画像と赤外画像との特徴量の差のデータに基づき、赤外画像と視線検出方向との関係を示す学習済みモデルが、外部のコンピュータ、又はヘッドマウントディスプレイ１００内で演算され、学習済みモデル記憶部２０５に格納される。
【００５２】
一例として、視線検出部２０３で演算される視線方向データＧが、カメラ１４５で得られた赤外画像のデータＸにより、Ｇ＝ａ１ｆ１（Ｘ）＋ａ２ｆ２（Ｘ）＋・・・＋ｂの式で計算される場合を考える。ただし、ａ１、ａ２、．．．、ｂは、学習済みモデルによって定まる係数である。学習済みモデルが取得されることにより係数ａ１、ａ２、．．．、ｂの値が定まり、更に赤外画像のデータＸがカメラ１４５から得られると、視線方向ベクトルＧが定まる。
【００５３】
映像生成部２０４は、ジャイロセンサ（図示せず）の検出信号等に従い、画像表示部１４２において表示すべき画像を生成する機能を有する。なお、映像生成部２０４は、ジャイロセンサ等の出力に加え、前述の視線検出部２０３の検出結果に従い、生成する映像を変更してもよい。
【００５４】
［変形例］
図１１を参照して、実施の形態のデータ生成装置１の変形例を示す。なお、図１１において、図１の構成要素と同一又は対応する構成要素については、図１１において同一又は対応する参照符号を付しているので、以下では重複する説明は省略する。この変形例では、データ生成装置１が、第１データ生成装置ＭＬ１と、第２データ生成装置ＭＬ２とに分割されており、２つの装置ＭＬ１とＭＬ２がネットワークＮＷを介して接続されている。
【００５５】
第１データ生成装置ＭＬ１は、画像対ＥＰｊの取得、その特徴量の取得、及び特徴量に基づく学習済みモデルの生成を行う。第２データ生成装置ＭＬ２は、学習済みモデルに基づいて、別の可視光画像Ｖｏに基づく赤外画像Ｒｏの生成を行う。第１データ生成装置ＭＬ１、第２データ生成装置ＭＬ２、及び映像システム２は、ネットワークＮＷを介して接続され、データの送受信を行う。
【００５６】
第１データ生成装置ＭＬ１は、撮像装置１１と、ＣＰＵ１２Ａと、可視光撮影画像記憶部１３Ａと、赤外撮影画像記憶部１４Ａと、機械学習部１６と、学習済みモデル記憶部１７とを備える。第１データ生成装置ＭＬ１は、撮像装置１１により撮像された可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊの対を取得し、それぞれ可視光撮影画像記憶部１３Ａと赤外撮影画像記憶部１４Ａに記憶させる。その後、機械学習部１６、及び学習済みモデル記憶部１７Ａは、第１の実施の形態と同様にして、可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊの特徴量の差を算出し、これに基づいて学習済みモデルを取得し、学習済みモデル記憶部１７Ａに記憶する。
【００５７】
第２データ生成装置ＭＬ２は、第１データ生成装置ＭＬ１から、画像対ＥＰｊ（可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊ）、及び上述の学習済みモデルをネットワークＮＷを介して受信する。第２データ生成装置ＭＬ２は、ＣＰＵ１２Ｂと、可視光撮影画像記憶部１３Ｂと、赤外撮影画像記憶部１４Ｂと、可視光画像入力部１５と、機械学習部１６と、学習済みモデル記憶部１７Ｂと、赤外画像生成部１８とを備える。
【００５８】
受信された可視光撮影画像Ｖｊ及び赤外撮影画像Ｒｊは、それぞれ可視光撮影画像記憶部１３Ｂ及び赤外撮影画像記憶部１４Ｂに格納され、学習済みモデルは学習済みモデル記憶部１７Ｂに格納される。
【００５９】
その後、可視光画像入力部１５から別の可視光画像Ｖｏが入力されると、第１の実施の形態と同様にして赤外画像Ｒｏが赤外画像生成部１８により生成され、可視光画像Ｖｏと赤外画像Ｒｏが対の画像として格納される。学習済みモデルは、この新たに生成された画像対に基づいて補正される。得られた学習済みモデルや画像対は、映像システム２に直接又は間接的に提供され、視線検出の演算に利用される。
【００６０】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６１】
１…データ生成装置、  ２…映像システム、  １１…撮像装置、  １２…ＣＰＵ、  １３…可視光撮影画像記憶部、  １３…可視光撮影画像記憶部、  １４…赤外撮影画像記憶部、  １５…可視光画像入力部、  １６…機械学習部、  １７…学習済みモデル記憶部、  １８…赤外画像生成部、  １９…属性情報記憶部、  ２０…属性情報入力部、  １００…ヘッドマウントディスプレイ、  １０１…制御部、  １０２…通信部、  １０３…赤外光源、  １１０…筐体、  １２０…頭部固定部、  １３０…ヘッドフォン、  １４０…画像提示部、  １４１…赤外光源、  １４２…画像表示部、  １４３…ホットミラー、  １４４…凸レンズ、  １４５…カメラ、  １４６…画像出力部、  ２００…映像再生装置、  ２０１…制御部、  ２０２…通信部、  ２０３…視線検出部、  ２０４…映像生成部、  ２０５…学習済みモデル記憶部、  １００１…可視光光源、  １００２…赤外光光源、  １００３…対物レンズ、  １００４…ダイクロイックミラー、  １００５…結像レンズ、  １００５…集光レンズ、  １００６…可視画像カメラ、  １００７…結像レンズ、  １００８…赤外カメラ。
【図１】
2020009064.tif 000003
【図２】
2020009064.tif 000004
【図３】
2020009064.tif 000005
【図４】
2020009064.tif 000006
【図５】
2020009064.tif 000007
【図６】
2020009064.tif 000008
【図７】
2020009064.tif 000009
【図８】
2020009064.tif 000010
【図９】
2020009064.tif 000011
【図１０】
2020009064.tif 000012
【図１１】
2020009064.tif 000013