(57)【特許請求の範囲】
【請求項１】
使用者の眼を撮像するカメラと、
前記カメラからのデータによって、使用者の両眼の視線のデータを算出する算出部と、
算出した視線のデータをレイキャスティング法もしくはＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合する照合部と、
前記使用者が注視している３次元空間内の３次元座標位置を計算する計算部と、
前記ゲームエンジンにより管理されるキャラクターを表示する表示部と、
前記計算部が計算した３次元座標位置に基づいて、前記使用者の視線が、一定時間以上、前記表示されたキャラクターの特定の部位に向いているか否かに応じて、使用者がキャラクターとコミュニケーションをとれているか否かを判定するコミュニケーション判定部とを備えるヘッドマウントディスプレイシステム。
【請求項２】
前記ゲームエンジンは、前記計算部が計算した３次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を用いた表示情報を前記表示部に出力することを特徴とする
請求項１に記載のヘッドマウントディスプレイシステム。
【請求項３】
前記ヘッドマウントディスプレイシステムは、
使用者の顔の方向を検知する方向センサーと、
前記センサーからのデータによって、使用者の顔の方向を算出する顔方向算出部とをさらに備え、
前記照合部は、さらに、前記顔の方向に基づいて前記３次元空間の奥行データと照合し、
前記計算部は、さらに、前記顔の方向に基づいて前記３次元座標位置を計算することを特徴とする請求項１又は２に記載のヘッドマウントディスプレイシステム。
【請求項４】
前記コミュニケーション判定部は、前記計算部が計算する３次元座標位置が所定時間前記特定の箇所にとどまっていない場合に、前記キャラクターとのコミュニケーションに失敗したと判定することを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイシステム。
【請求項５】
前記コミュニケーション判定部は、さらに、前記使用者が前記一定時間以上の時間であって、所定よりも長い時間、前記キャラクターの特定の部位に向いていた場合には、コミュニケーションに失敗したと判定することを特徴とする請求項１〜４のいずれか１項に記載のヘッドマウントディスプレイシステム。
【請求項６】
前記ゲームエンジンは、前記コミュニケーション判定部がコミュニケーションに失敗したと判定した場合に、コミュニケーション失敗時の画面情報を前記表示部に出力することを特徴とする請求項１〜５のいずれか１項に記載のヘッドマウントディスプレイシステム。
【請求項７】
前記ゲームエンジンは、前記コミュニケーション失敗時の画面として、前記キャラクターが前記使用者に挨拶せずに通り過ぎる画面情報を前記表示部に出力することを特徴とする請求項６に記載のヘッドマウントディスプレイシステム。
【請求項８】
使用者の眼を撮像するカメラと画像を表示する表示部とを備えたヘッドマウントディスプレイを用いた制御方法であって、
前記カメラからのデータによって、使用者の両眼の視線のデータを算出する算出ステップと、
算出した視線のデータをレイキャスティング法もしくはＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合する照合ステップと、
前記使用者が注視している３次元空間内の３次元座標位置を計算する計算ステップと、
前記ゲームエンジンにより管理されるキャラクターを前記表示部に表示する表示ステップと、
前記計算ステップにおいて計算した３次元座標位置に基づいて、前記使用者の視線が、一定時間以上、前記表示されたキャラクターの特定の部位に向いているか否かに応じて、使用者がキャラクターとコミュニケーションをとれているか否かを判定するコミュニケーション判定ステップとを含む制御方法。
【請求項９】
使用者の眼を撮像するカメラと画像を表示する表示部とを備えたヘッドマウントディスプレイに画像を表示するコンピュータに、
前記カメラからのデータによって、使用者の両眼の視線のデータを算出する算出機能と、
算出した視線のデータをレイキャスティング法もしくはＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合する照合機能と、
前記使用者が注視している３次元空間内の３次元座標位置を計算する計算機能と、
前記ゲームエンジンにより管理されるキャラクターを前記表示部に表示する表示機能と、
前記計算機能により計算された３次元座標位置に基づいて、前記使用者の視線が、一定時間以上、前記表示されたキャラクターの特定の部位に向いているか否かに応じて、使用者がキャラクターとコミュニケーションをとれているか否かを判定するコミュニケーション判定機能とを実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像における使用者の注視点の特定方法に関するものである。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）等のディスプレイ装置において、使用者の視線を追跡する装置は既に知られているが、実際に使用者が注視している点と装置が認識する使用者の視線との間で誤差があり、使用者の視線を正確に特定できなかった。【０００３】
一般に、機械により表示されるキャラクターとのコミュニケーションをシミュレーションする装置は、既にシミュレーションゲーム等で知られている。【０００４】
使用者の眼を撮像するユーザーインターフェイス装置については、例えば先行文献１に記載されたものが知られている。このユーザーインターフェイス装置においては、ユーザーの視線を装置への入力手段としている。【０００５】
また、使用者の視線により入力する装置としては、先行文献２に記載されたものも知られている。この装置においては、使用者の視線位置検出手段と、映像表示手段、視線位置と映像との両者の一致検出手段によって、ユーザーの視線による入力を可能としている。【０００６】
従来、バーチャルキャラクターを用いてコミュニケーションのシミュレーションをする装置は、例えば先行文献３のように、キーボードによるテキスト入力を主たる入力として、使用者の脈拍、体温、発汗を補助入力とするものが知られている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２-００８７４５
【０００８】
【特許文献２】特開平０９−０１８７７５
【０００９】
【特許文献３】特開２００４−２１２６８７
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ヘッドマウントディスプレイを含むディスプレイにおいて使用者の視線を追跡する際に、使用者の両眼の瞳孔の方向は、必ずしも使用者が注視している点と一致せず、正確な使用者の注視点の座標を特定する技術が求められていた。【００１１】
人間は眼で物を見る際、対象物との距離に応じて水晶体の厚さを調整し、対象物の像を鮮明に結ぶようにピントを調節している。そのため、視点からの距離が離れた対象物についてはピントが合わず、ぼやけて見える。
しかし、従来の立体映像においては、両眼に別の映像を提供する事のみによって立体感を演出しており、視点から距離が離れているはずの対象物にもピントが合って鮮明に見えてしまっていた。【００１２】
機械によるコミュニケーションのシミュレーションを行うためには、シミュレーションの体系の中に現実のコミュニケーションの要素を取り入れることが不可欠である。中でも、現実のコミュニケーションにおいては、お互いの視線の認識が果たす役割が大きいため、使用者の視線の検出、判定をシミュレーションにどう取り入れるかが課題となっていた。【００１３】
さらに、実際のコミュニケーションにおいては、顔の向きを相手に向けることも重要であり、この点をどのように検出及び判定し、シミュレーションに取り入れるかも課題となっていた。
【課題を解決するための手段】
【００１４】
上記目的は使用者の眼を撮像するカメラからのデータよって、使用者の両眼の視線のデータを算出し、算出した視線のデータをレイキャスティング法又はＺバッファー法によってゲームエンジンが管理している３次元空間の奥行データと照合し、使用者が注視している３次元空間内の３次元座標位置を計算する、注視点算出アルゴリズムによって、達成される。【００１５】
本発明による注視点算出アルゴリズムは、好ましくは、視線検知アルゴリズムで特定した３次元上の座標位置情報を用いて、当該座標のシーンに奥行情報を伴ったブラー表現をかけることで擬似的に焦点表現を導入する。【００１６】
本発明による注視点算出アルゴリズムは、好ましくは、インタラクションの対象物が表示され、使用者の視線及び顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が前記対象物とインタラクションをとれていると判定する。【００１７】
本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。【００１８】
本発明の視線検知機能付きディスプレイ装置によるシミュレーションは使用者の顔の方向を検知する方向センサーからのデータよって、使用者の顔の方向を算出し、使用者の視線および顔の方向及び位置が、一定時間以上、映像表示部に表示された対象物の特定の部位に合致した場合には、使用者が対象物とインタラクションをとれていると判定する。【００１９】
本発明による注視点算出アルゴリズムは、好ましくは、映像表示部と、使用者の眼を撮像するカメラとを有し、映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納されたヘッドマウントディスプレイ（ＨＭＤ）に組み込まれる。
【発明の効果】
【００２０】
ＨＭＤ等の３Ｄ映像装置を用いた立体映像において、使用者の注視点を算出するにあたっては、使用者の眼を撮像するのみでは、実際の使用者の注視点と算出された注視点との間で誤差が生じてしまうが、映像内のオブジェクトに照合して使用者の注視点を算出することにより、使用者の注視点を正確に算出することができる。【００２１】
映像内において使用者の焦点と映像空間内における奥行きが離れた位置について、ぼかしが入ることにより、立体的な映像が提供される。そのためには、使用者の焦点を正確に算出することが不可欠であるが、単純に両眼の視線の最短距離点又は交点を焦点として算出するのでは、使用者が実際に注視する焦点との間で誤差が生じてしまうため、本発明のアルゴリズムによって当該誤差を補正する。【００２２】
上記構成によれば、本発明による視線検知機能付きディスプレイ装置によってコミュニケーションのシミュレーションがされる場合は、キャラクターを表示する映像表示部と、使用者の眼を撮像するカメラとを有し、使用者の視線を検知するとともに、使用者が、表示されている映像のうち、どの部分を見ているかを算出する。
これにより、使用者の視線が、一定時間の範囲内において、映像表示部に表示されたキャラクターの特定の部位に向いた場合、特に、使用者がキャラクターの目や、顔の中心付近を見ている場合に適切にコミュニケーションがとれていると判定される。
このため、視線入力のステップを伴わない従来のコミュニケーションのシミュレーションに比べ、現実のコミュニケーションに近いシミュレーションがなされる。【００２３】
コミュニケーションのシミュレーションにおいて、使用者の顔の方向を検知する方向センサーを有し、方向センサーによって使用者の顔の方向を解析することにより、使用者がキャラクターに目線だけでなく顔を向けているか否かが判定される。
このため、使用者が顔の向きを変えた時に、使用者の顔の向きに従って映像が変化することが可能となる。また、使用者が顔をキャラクターの方向に向けている場合にのみコミュニケーションがとれていると判定することにより、より正確なコミュニケーションのシミュレーションをすることが可能である。【００２４】
映像表示部とカメラとが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤである場合には、従来からのＨＭＤの技術を本発明にそのまま適用することができ、大型のスクリーンを用いることなく使用者の視界に広い角度で映像を表示することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
【図２】本発明の焦点認識機能のアルゴリズムのフロー図である。
【図３】シミュレーションのフローチャートである。
【図４】本発明の第一実施形態であるＨＭＤ型の視線検知機能付きディスプレイ装置の装着図である。
【図５】本発明の第二実施形態であるメガネ型の視線検知機能付きディスプレイ装置の装着図である。
【図６】使用者の両眼を撮像する本発明の構造図である。
【発明を実施するための形態】
【００２６】
図１は、本発明の焦点認識機能のアルゴリズムの簡易フロー図である。
カメラ１０が使用者の両眼を撮像し、視線データを算出する。次に前記視線データをレイキャスティング法１１もしくはＺバッファー法１３によって、ゲームエンジン内の３次元空間内奥行データ１２と照合し、注視点算出処理法１４によって注視点を算出し、使用者が注視している３次元空間内における３次元の座標位置を特定する。
【００２７】
カメラ１０が使用者の両眼を撮像し、使用者の両眼の視線の最短距離点又は交点を算出し、使用者の両眼の視線の最短距離点又は交点に最も近い映像部のＺバッファー値を参照する。そして、前記Ｚバッファー値と、他の映像部のＺバッファー値の差に応じて、他の映像部にぼかしを入れる。
【００２８】
図２は、図１におけるアルゴリズムをより詳細に示したフロー図である。まず、Ｚバッファー法もしくはレイキャスティング法によって、ゲーム内の一点を入力する。
Ｚバッファー法では、使用者の視線をＺバッファー値が設定されているゲーム内オブジェクトに投影２００し、ゲーム内においてオブジェクトの表面として設定されている点の座標を算出２０１し、Ｚ点として入力２０２する。
レイキャスティング法では、ゲームエンジン内の３次元空間に投影線を引き２０３、ゲーム内の物理線上に視線とゲーム内オブジェクトとの交点の座標をＰ点として入力２０４する。
【００２９】
Ｐ点もしくはＺ点が少なくとも１点あるかを判定２０５し、また、少なくとも１点の合致点がある場合には、合致点が２点あってかつ当該２点が閾値ａ未満の距離であるかを判定２０６し、合致点が２点あって、かつ当該２点の距離がａ未満である場合には、当該２点の中点２０７又は２点の重点を焦点として出力２０８する。
【００３０】
一方、Ｐ点とＺ点が一致する点が１点以下か、あるいは２点あっても当該２点の距離が閾値α以上に離れている場合には、両眼の視線の最短距離点又は交点（ＣＩ）を算出２０９、及び入力２１０する。
ＣＩが起源点をもつか否かを判定２１１し、起源点を持たない場合には焦点が定まっていないものとし、焦点の値に遠方の点を出力２１２する。
【００３１】
一方、ＣＩに起源点が存在する場合には、ＣＩから距離が近い範囲でＺ点が存在するか否かを判定２１３し、Ｚ点の距離が近い範囲で存在する場合にはＺ点を焦点として出力２１４し、Ｚ点の距離が近い範囲で存在しない場合には、ＣＩにフィルタリング２１５をかけ、当該フィルタリングされた値にブレンディングをかけて出力２１６する。
【００３２】
図３は、本発明による視線検知機能付きディスプレイ装置によるコミュニケーションのシミュレーションのフローチャートを示している。
図３において、シミュレーションの起動後、クリック又はキーボードによる入力ステップ３１によって、シミュレーションが開始され、開始画面３２に移行する。
開始画面３２から、使用者によるキャラクターの探索ステップ３３、キャラクターの表示画面３４、使用者の視線による入力ステップ３５、適切なコミュニケーションの判定ステップ３６、コミュニケーションの成功時の画面３７あるいはコミュニケーションの失敗時の画面３８を経て、シミュレーションの終了３９に移行する。
【００３３】
図４は、本発明の第一の実施形態における装着図である。視線検知機能付きディスプレイ装置４０は、顔の方向を検知するセンサー４１を有し、映像表示部とカメラ１０とが使用者の頭部に固定されるハウジングに格納され、全体としてＨＭＤ型である。
【００３４】
図５は、本発明による第二の実施形態における装着図である。視線検知機能付きディスプレイ装置はパーソナルコンピューター用のモニター等、ＨＭＤ以外の映像表示装置が用いられ、全体としてメガネ型である。キャラクターの探索画面において、使用者はマウス又はキーボードの操作によって映像表示装置に表示される焦点を操作して探索する。
第二の実施形態においては、カメラ１０により撮像された眼の画像と、顔の方向を検知するセンサー４１の情報とが解析され、使用者の視線が解析される。
【００３５】
図６は、カメラ１０が両眼を撮像する構造図である。視差６２により使用者の視線の最短距離点又は交点６３の空間上の座標を算出する。
例えばコミュニケーションの判定ステップ３６において、最短距離点又は交点６３の座標が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いたことをもって、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
【００３６】
使用者の顔の方向を検知するセンサー４１を有し、センサー４１によって使用者の顔の方向を解析し、使用者の視線及び顔の方向が、一定時間以上、前記映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者が前記キャラクターとコミュニケーションをとれていると判定される。
本発明を実施する場合のキャラクターの探索ステップ３３においては、使用者が顔の向きを変えると、首の方向に従って表示される画面が変化する。これによって、現実空間において顔の方向を変えた時に目に映される視界が変化する事象が、ＨＭＤよる映像表現上でも再現される。
キャラクターの探索ステップ３３において、開始時は、キャラクターが視界の外に存在するという設定であるため、キャラクターは画面に表示されないが、使用者が後ろを振り返ることにより、背景映像の変化とともにキャラクターが表示される。
【００３７】
本発明におけるカメラ１０は使用者の眼を撮像する小型カメラであり、カメラ１０により撮像された画像によって、使用者の視線が算出される。
【００３８】
本発明によるシミュレーションでは、使用者の視線をシミュレーションの主な入力要素とする。
視線入力ステップ３５においては、カメラ１０による使用者の視線が解析され、視線データとして入力される。
【００３９】
コミュニケーションの判定ステップ３６においては、使用者の視線が、一定時間以上、映像表示部に表示されたキャラクターの特定の部位に向いた場合には、使用者がキャラクターとコミュニケーションをとれていると判定される。
コミュニケーションの判定ステップ３６の時、キャラクターが約１５秒、使用者を見る。
この約１５秒の内、約１秒以上使用者がキャラクターの顔の中心付近に視線を向けた場合は、コミュニケーション成功と判定される。
一方、使用者がキャラクターの顔の中心付近に視線を１秒以上向けないまま１５秒が経過した場合には、コミュニケーション失敗と判定される。
また、使用者の視線がせわしなく動きすぎた場合や、キャラクターを見つめすぎた場合にも、コミュニケーションが失敗と判定される。
【００４０】
コミュニケーションの成功時の画面３７においては、キャラクターが使用者に挨拶する。一方、コミュニケーションの失敗時の画面３８においては、キャラクターが使用者に挨拶せず、そのまま通りすぎていく。
【００４１】
シミュレーションの開始前には、正確な視線入力のために調整の手順が設けられる。
本発明では視線による入力のために、カメラによって撮像された瞳孔の映像から使用者の視線の方向を算出する。ここで、使用者の眼４０の映像を解析することにより、計算上の視線が算出されるが、この計算上の視線と使用者が実際に注視した、実際の視線との間で差異が生じる場合がある。
そのため、この差異を調整する手順において、使用者に画面上に表示されたポインタを注視させ、使用者が注視する実際の視線の位置と、計算上の視線の位置との差異を算出する。
以後、シミュレーションにおいて、計算上の視線の位置に、算出した差異の値を補正して、装置が認識する焦点の位置を使用者が実際に注視している点に合わせる。
【符号の説明】
【００４２】
１０  カメラ
１１  レイキャスティング法
１２  ３次元空間の奥行データ
１３  Ｚバッファー法
１４  注視点算出処理法
１５  使用者が注視している３次元空間内における座標位置
２００  Ｚバッファーへ視線を投影
２０１  ゲーム内のＺ点を算出
２０２  Ｚ点を入力
２０３  レイキャスティング法により、投影線を引く
２０４  Ｐ点を入力
２０５  Ｐ点又はＺ点が少なくとも１点存在するか
２０６  Ｐ点とＺ点が１対存在し、閾値α未満であるか
２０７  Ｐ点又はＺ点の中点を算出
２０８  Ｐ点又はＺ点の中点を出力
２０９  視線を算出し、最短距離点又は交点（ＣＩ）を算出
２１０  ＣＩ値を入力
２１１  ＣＩは起源点を持つか
２１２  遠方の点を焦点として出力
２１３  Ｐ点又はＺ点がＣＩから近い距離に存在するか
２１４  Ｐ点又はＺ点を出力
２１５  ＣＩ値をフィルタリング
２１６  フィルタリングされたＣＩ値を出力
３０  起動
３１  開始の入力ステップ
３２  開始画面
３３  使用者による探索
３４  キャラクター表示画面
３５  視線入力ステップ
３６  コミュニケーションの判定ステップ
３７  コミュニケーションの成功時の画面
３８  コミュニケーションの失敗時の画面
３９  シミュレーションの終了
４０  ＨＭＤ型の視線検知機能付きディスプレイ装置
４１  顔の方向を検知するセンサー
５０  メガネ型の視線検知機能付きディスプレイ装置
５２  スクリーン
６０  眼
６１  レンズ
６２  視差
６３  最短距離点又は交点
【図１】
0006454851.tif 000002
【図２】
0006454851.tif 000003
【図３】
0006454851.tif 000004
【図４】
0006454851.tif 000005
【図５】
0006454851.tif 000006
【図６】
0006454851.tif 000007