(57)【要約】【課題】現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能な技術を提供する。【解決手段】指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、を備える、校正情報作成装置が提供される。【選択図】図１
2017059088.tif 000002
【特許請求の範囲】
【請求項１】
指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、
前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、
を備える、校正情報作成装置。
【請求項２】
前記校正情報作成装置は、
前記校正情報に基づいて前記仮想映像を変換することにより提示映像を得る表示変換部を備える、
請求項１に記載の校正情報作成装置。
【請求項３】
前記校正情報作成装置は、
前記仮想映像を生成する映像生成部を備える、
請求項２に記載の校正情報作成装置。
【請求項４】
前記校正情報作成装置は、
前記提示映像を表示する映像表示部を備える、
請求項３に記載の校正情報作成装置。
【請求項５】
前記特徴点検出部は、前記現実の姿勢データと前記指の理想の姿勢データとの差分絶対値が閾値を下回った場合に、前記１または複数の特徴点を検出する、
請求項１に記載の校正情報作成装置。
【請求項６】
指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出することと、
前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成することと、
を含む、校正情報作成方法。
【請求項７】
コンピュータを、
指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、
前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、
を備える校正情報作成装置として機能させるための校正情報作成プログラム。
【請求項８】
指の現実の姿勢データを検知する指姿勢検知部と、
前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、
を備える、姿勢検知装置。
【請求項９】
前記刺激情報制御部は、前記現実の姿勢データと前記理想の姿勢データとの差分に基づいて前記刺激を制御する、
請求項８に記載の姿勢検知装置。
【請求項１０】
前記刺激情報制御部は、前記差分の符号に基づいて、前記指に提示される刺激の位置を制御する、
請求項９に記載の姿勢検知装置。
【請求項１１】
前記刺激情報制御部は、時間の経過に伴って、前記指に提示される前記刺激の位置を変化させる、
請求項８に記載の姿勢検知装置。
【請求項１２】
前記刺激情報制御部は、前記差分の絶対値に基づいて、前記指に提示される前記刺激の大きさを制御する、
請求項９に記載の姿勢検知装置。
【請求項１３】
前記姿勢検知装置は、
前記指に刺激を提示する刺激情報提示部を備える、
請求項８に記載の姿勢検知装置。
【請求項１４】
前記指姿勢検知部は、接触または非接触により前記現実の姿勢データを検知し、
前記刺激情報制御部は、接触または非接触により提示される前記刺激を制御する、
請求項８に記載の姿勢検知装置。
【請求項１５】
前記刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点が検出され、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報が作成される、
請求項８に記載の姿勢検知装置。
【請求項１６】
指の現実の姿勢データを検知することと、
前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御することと、
を含む、姿勢検知方法。
【請求項１７】
コンピュータを、
指の現実の姿勢データを検知する指姿勢検知部と、
前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、
を備える姿勢検知装置として機能させるための姿勢検知プログラム。
【請求項１８】
指の現実の姿勢データを検知する指姿勢検知部と、
前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、
を備える、姿勢検知装置と、
前記刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、
前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、
を備える、校正情報作成装置と、
を有する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、校正情報作成装置、校正情報作成方法、校正情報作成プログラム、姿勢検知装置、姿勢検知方法、姿勢検知プログラムおよび情報処理システムに関するものである。
【背景技術】
【０００２】
近年、現実空間映像と仮想空間映像とを合成することにより得られる合成映像をユーザの視野に提供する複合現実感システムが開示されている（例えば、特許文献１参照）。例えば、仮想空間映像は、ユーザの視点位置（または視線方向）に応じて生成される。複合現実感システムによれば、現実空間に仮想映像が実在しているような感覚をユーザに提供することが可能であり、仮想現実感システムよりもリアルに実寸感覚を伴った観測をユーザに提供することが可能である。
【０００３】
複合現実感システムは、様々な分野に応用されている。一例として、設計・製造分野において３次元ＣＡＤ（ｃｏｍｐｕｔｅｒ  ａｉｄｅｄ  ｄｅｓｉｇｎ）により設計された物体の操作性・メンテナンス性・組み立て性を検証する手法として、仮想空間に表示された仮想映像を現実空間に存在する現実物体としての手で操作する手法がある。かかる手法によって、あたかも自分の手で試作中の物体に直接触れているかのような感覚をユーザに与えながら、ユーザに物体を操作・検証させることが可能である。
【０００４】
かかる手法を実現するためには、現実物体としての手にマッチするように仮想映像のパラメータ（例えば、仮想映像の位置、姿勢、拡大倍率など）を校正する必要がある。このように、現実物体としての手にマッチするように仮想映像のパラメータを校正するためには、あらかじめ現実物体に対する仮想映像のパラメータの校正度合いを校正情報として取得するキャリブレーションが実行される必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１５９０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、現実物体としての手と仮想映像との間で正確にキャリブレーションを行うためには、現実物体としての手全体の大きさ、現実物体としての手の平の幅・高さ、現実物体としての手の指の長さなどといった多くの要素を考慮する必要がある。さらに、現実物体としての手のように複雑かつ柔軟な形状を持った物体と仮想映像との間のキャリブレーションにおいては、手形状の変形をも考慮する必要がある。
【０００７】
また、一般的には、空間上の任意の点を指定することができる装置（例えば、マウス、３次元ポインティングデバイスなど）を使用して、拡大倍率を校正するためのすべての特徴点を指定することによって拡大倍率を校正する手法を用いることが多い。しかし、このような手法では、キャリブレーションに長い時間が掛かり、システムのインタフェースの利便性を損なう可能性がある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能な技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記問題を解決するために、本発明のある観点によれば、指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、を備える、校正情報作成装置が提供される。
【００１０】
前記校正情報作成装置は、前記校正情報に基づいて前記仮想映像を変換することにより提示映像を得る表示変換部を備えてもよい。
【００１１】
前記校正情報作成装置は、前記仮想映像を生成する映像生成部を備えてもよい。
【００１２】
前記校正情報作成装置は、前記提示映像を表示する映像表示部を備えてもよい。
【００１３】
前記特徴点検出部は、前記現実の姿勢データと前記指の理想の姿勢データとの差分絶対値が閾値を下回った場合に、前記１または複数の特徴点を検出してもよい。
【００１４】
また、本発明の他の観点によれば、指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出することと、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成することと、を含む、校正情報作成方法が提供される。
【００１５】
また、本発明の他の観点によれば、コンピュータを、指の現実の姿勢データに応じた刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、を備える校正情報作成装置として機能させるための校正情報作成プログラムが提供される。
【００１６】
また、本発明の他の観点によれば、指の現実の姿勢データを検知する指姿勢検知部と、前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、を備える、姿勢検知装置が提供される。
【００１７】
前記刺激情報制御部は、前記現実の姿勢データと前記理想の姿勢データとの差分に基づいて前記刺激を制御してもよい。
【００１８】
前記刺激情報制御部は、前記差分の符号に基づいて、前記指に提示される刺激の位置を制御してもよい。
【００１９】
前記刺激情報制御部は、時間の経過に伴って、前記指に提示される前記刺激の位置を変化させてもよい。
【００２０】
前記刺激情報制御部は、前記差分の絶対値に基づいて、前記指に提示される前記刺激の大きさを制御してもよい。
【００２１】
前記姿勢検知装置は、前記指に刺激を提示する刺激情報提示部を備えてもよい。
【００２２】
前記指姿勢検知部は、接触または非接触により前記現実の姿勢データを検知し、前記刺激情報制御部は、接触または非接触により提示される前記刺激を制御してもよい。
【００２３】
前記刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点が検出され、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報が作成されてもよい。
【００２４】
また、本発明の他の観点によれば、指の現実の姿勢データを検知することと、前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御することと、を含む、姿勢検知方法が提供される。
【００２５】
また、本発明の他の観点によれば、コンピュータを、指の現実の姿勢データを検知する指姿勢検知部と、前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、を備える姿勢検知装置として機能させるための姿勢検知プログラムが提供される。
【００２６】
また、本発明の他の観点によれば、指の現実の姿勢データを検知する指姿勢検知部と、前記現実の姿勢データとあらかじめ定められた前記指の理想の姿勢データとに基づいて、前記指に提示される刺激を制御する刺激情報制御部と、を備える、姿勢検知装置と、前記刺激が前記指に提示された後に前記指が撮像された撮像映像から１または複数の特徴点を検出する特徴点検出部と、前記１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する校正情報作成部と、を備える、校正情報作成装置と、を有する、情報処理システムが提供される。
【発明の効果】
【００２７】
以上説明したように本発明によれば、現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能となる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態の概要を説明するための図である。
【図２】同実施形態に係る情報処理システムの構成例を示すブロック図である。
【図３】ユーザの現実の人差し指の姿勢を検知する例を説明するための図である。
【図４】接触刺激情報提示部が指の２箇所に取り付けられている状態を示す図である。
【図５】同実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図６Ａ】各指の理想の姿勢データを説明するための図である。
【図６Ｂ】各指の理想の姿勢データを説明するための図である。
【図６Ｃ】各指の理想の姿勢データを説明するための図である。
【図６Ｄ】各指の理想の姿勢データを説明するための図である。
【図６Ｅ】各指の理想の姿勢データを説明するための図である。
【図７】本発明の第２の実施形態に係る情報処理システムの構成例を示すブロック図である。
【図８】同実施形態に係る情報処理システムの構成例を示す図である。
【図９Ａ】指の現実の姿勢を非接触により検知する技術の概略を説明するための図である。
【図９Ｂ】指の現実の姿勢を非接触により検知する技術の概略を説明するための図である。
【図９Ｃ】指の現実の姿勢を非接触により検知する技術の概略を説明するための図である。
【図１０】同実施形態に係る情報処理システムの動作の流れを示すフローチャートである。
【図１１】触覚提示パターンの生成について説明するための図である。
【図１２】時間の経過に伴って指に提示される刺激の位置を変化させる例を説明するための図である。
【発明を実施するための形態】
【００２９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３０】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
【００３１】
［１−１．第１の実施形態の概要］
まず、本発明の第１の実施形態の概要について説明する。図１は、本発明の第１の実施形態の概要を説明するための図である。第１の実施形態においては、図１に示すように、校正情報作成装置１００が存在する。図１には、校正情報作成装置１００が、映像取得部１１０および映像表示部１２０を有するグラス型のウェアラブルデバイスであり、ユーザＵによって装着されている例が示されているが、校正情報作成装置１００の形態は、かかる形態に限定されない。
【００３２】
例えば、校正情報作成装置１００は、グラス型のウェアラブルデバイスではなく、他のモバイル端末（例えば、スマートフォン、タブレット端末、携帯電話など）であってもよいし、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であってもよい。また、図１には、校正情報作成装置１００の内部に映像取得部１１０および映像表示部１２０が存在する例が示されているが、映像取得部１１０および映像表示部１２０は、校正情報作成装置１００の外部に存在していてもよい。
【００３３】
図１に示すように、映像取得部１１０によってユーザの手Ｈａが撮像されて手Ｈａの撮像映像が取得されると、映像表示部１２０によって撮像映像に仮想映像Ｖｉが重畳される。なお、第１の実施形態においては、撮像映像に仮想映像Ｖｉが重畳される例を主に説明するが、映像表示部１２０がシースルー型のウェアラブルデバイスである場合などには、現実の空間に対して仮想映像Ｖｉが重畳されてもよい。すなわち、映像表示部１２０は、ユーザＵの視野に仮想映像Ｖｉを重畳する。また、図１には、仮想映像Ｖｉがボールの画像である例が示されているが、仮想映像Ｖｉはボール以外の物体の画像であってもよい。
【００３４】
ここで、映像表示部１２０が撮像映像に仮想映像Ｖｉを重畳するためには、現実物体としての手Ｈａにマッチするように仮想映像Ｖｉのパラメータ（例えば、仮想映像Ｖｉの位置、姿勢、拡大倍率など）を校正する必要がある。現実物体としての手Ｈａにマッチするように仮想映像Ｖｉのパラメータを校正するためには、あらかじめ現実物体としての手Ｈａに対する仮想映像Ｖｉのパラメータの校正度合いを校正情報として取得するキャリブレーションが実行される必要がある。
【００３５】
しかしながら、現実物体としての手Ｈａと仮想映像Ｖｉとの間で正確にキャリブレーションを行うためには、現実物体としての手Ｈａの全体の大きさ、現実物体としての手Ｈａの平の幅・高さ、現実物体としての手Ｈａの指の長さなどといった多くの要素を考慮する必要がある。さらに、現実物体としての手Ｈａのように複雑かつ柔軟な形状を持った物体と仮想映像Ｖｉとの間のキャリブレーションにおいては、手形状の変形をも考慮する必要がある。
【００３６】
また、一般的には、空間上の任意の点を指定することができる装置（例えば、マウス、３次元ポインティングデバイスなど）を使用して、拡大倍率を校正するためのすべての特徴点を指定することによって拡大倍率を校正する手法を用いることが多い。しかし、このような手法では、キャリブレーションに長い時間が掛かり、システムのインタフェースの利便性を損なう可能性がある。
【００３７】
また、第１の実施形態において、ユーザの数は一人であってもよいが、複数人のユーザによって順次にシステムが利用される場合も想定される。かかる場合には、システムを利用するユーザが代わるたびにキャリブレーションも新たに実行される必要があるため、キャリブレーションが特に迅速に行われることが望まれる。そこで、本明細書においては、現実物体としての手Ｈａと仮想映像Ｖｉとの間のキャリブレーションを簡易かつ迅速に行うことが可能な技術について主に提案する。
【００３８】
かかる技術として、第１の実施形態においては、ユーザＵの手に対して接触により刺激を提示する接触刺激情報提示部２３０をユーザＵが装着する例を説明する。第１の実施形態においては、接触刺激情報提示部２３０が偏心モータなどによって構成される振動子であり、ユーザＵの手に対して接触により提示される刺激が振動による刺激である例を説明する。しかし、ユーザＵの手に対して提示される刺激の種類は特に限定されない。例えば、ユーザＵの手に対して提示される刺激は、電気による刺激などであってもよい。
【００３９】
また、図１には、接触刺激情報提示部２３０が手袋に対して取り付けられており、ユーザＵがその手袋を装着する例が示されている。しかし、接触刺激情報提示部２３０が手袋以外の物質（例えば、指輪など）に取り付けられ、ユーザＵがその物質を装着してもよい。あるいは、接触刺激情報提示部２３０は、ユーザＵの手に直接的に取り付けられてもよい。かかる場合、接触刺激情報提示部２３０は、ユーザＵの手に貼り付けられてもよいし、ユーザＵの手にテープなどで巻き付けられてもよい。
【００４０】
以上、本発明の第１の実施形態の概要について説明した。
【００４１】
［１−２．システム構成例］
続いて、本発明の第１の実施形態に係る情報処理システムの構成例について説明する。図２は、本発明の第１の実施形態に係る情報処理システムの構成例を示すブロック図である。図２に示すように、本発明の第１の実施形態に係る情報処理システム１０Ａは、校正情報作成装置１００と姿勢検知装置２００Ａとを有する。
【００４２】
また、図２に示すように、校正情報作成装置１００は、映像取得部１１０と、映像表示部１２０と、映像生成部１３０と、表示変換部１４０と、特徴点検出部１５０と、校正情報作成部１６０と、校正情報記憶部１７０とを備えている。また、図２に示すように、姿勢検知装置２００Ａは、接触指姿勢検知部２１０と、刺激情報制御部２２０と、接触刺激情報提示部２３０とを備えている。
【００４３】
接触指姿勢検知部２１０は、指の現実の姿勢を検知する指姿勢検知部の一例であり、指の現実の姿勢を接触により検知する。接触指姿勢検知部２１０は、指の現実の姿勢を接触により検知可能な所定のセンサを含む。ここでは、接触指姿勢検知部２１０は、指に装着された屈曲センサによって検知された関節の折り曲げ角度に基づいて指の現実の姿勢を検知する例を説明する。しかし、接触指姿勢検知部２１０は、指に装着された加速度センサによって検知された加速度に基づいて指の現実の姿勢を検知してもよい。
【００４４】
図３は、ユーザの現実の人差し指の姿勢を検知する例を説明するための図である。図３には、図示を簡便にするために、接触指姿勢検知部２１０がユーザの人差し指の根元関節での折り曲げ角度を検知する例を示す。しかし、折り曲げ角度が検知される指の種類は人差し指に限定されず、折り曲げ角度が検知される関節も、根元関節に限定されない。さらに、図３には、１つの指における関節１箇所の折り曲げ角度を検知する例を示すが、折り曲げ角度が検知される指の数は複数であってもよいし、折り曲げ角度が検知される１つの指あたりの関節の数は複数であってもよい。
【００４５】
図３を参照すると、現実物体としての手Ｈａが示されている。また、人差し指の根元関節が原点とされ、親指の先端への向きがＸ軸、手の平側への向きがＹ軸、人差し指の先端への向きがＺ軸と設定され、（ｄｘ,ｄｙ,ｄｚ）という長さ１に正規化された三次元ベクトルによって、接触指姿勢検知部２１０によって人差し指の現実の姿勢データが検知される。なお、人差し指以外の指の現実の姿勢データも同様に検知され得る。
【００４６】
一例として、図３に示された例において、指がＺ軸方向に伸びた状態から、手形状を維持しながら現実の指をＹＺ平面において−４５度回転させる場合を想定する。かかる場合には、指の現実の姿勢を示す３次元ベクトル（ｄｘ,ｄｙ,ｄｚ）は、以下の式（数式１）のように表される。
【００４７】
【数１】
2017059088.tif 000003
・・・（数式１）
【００４８】
刺激情報制御部２２０は、指の現実の姿勢データに応じた刺激が指に提示されるように接触刺激情報提示部２３０を制御する。より具体的には、刺激情報制御部２２０は、指の現実の姿勢データとあらかじめ定められた指の理想の姿勢データとに基づいて、指に提示される刺激を制御する。理想の姿勢データも、現実の姿勢データと同様に三次元ベクトルによって表現され得る。また、例えば、指の理想の姿勢データは、校正情報作成部１６０によって保持されている場合、校正情報作成部１６０から取得されればよい。刺激は、刺激情報制御部２２０による制御に従って接触刺激情報提示部２３０によって指に提示される。
【００４９】
図４は、接触刺激情報提示部２３０が指の２箇所に取り付けられている状態を示す図である。図４を参照すると、指のうち手の甲側には、接触刺激情報提示部２３０−１が取り付けられており、指のうち手の平側には、接触刺激情報提示部２３０−２が取り付けられている。なお、図４には、指の２箇所に接触刺激情報提示部２３０が取り付けられている例が示されているが、接触刺激情報提示部２３０が取り付けられる数および位置は限定されない。また、接触刺激情報提示部２３０が取り付けられる指は、接触指姿勢検知部２１０と同じ指であればよい。
【００５０】
映像取得部１１０は、撮像装置を含んでおり、その撮像装置による指の撮像映像を取得する。接触刺激情報提示部２３０によって指への刺激が提示されると、ユーザはその刺激に従って指の姿勢を変化させる。指の姿勢が変化した後は、指の現実の姿勢が指の理想の姿勢に近づいたことが期待される。そこで、特徴点検出部１５０は、指の現実の姿勢データに応じた刺激が指に提示された後に映像取得部１１０によって指が撮像された撮像映像から１または複数の特徴点を検出する。
【００５１】
特徴点検出部１５０によって検出される１または複数の特徴点は、どのような点であってもよいが、校正情報の作成に利用されやすい１または複数の特徴点（例えば、指の根元、指先など）であるとよい。また、特徴点検出の手法としては様々な手法が採用され得る。例えば、特徴点検出部１５０は、コーナー検出による指先検知などの手法を用いて特徴点を検出してもよい。
【００５２】
あるいは、特徴点検出部１５０は、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐｐｅｄ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅ）、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）などの局所特徴量を用いて、特徴量同士の類似性により、あらかじめ学習により登録されている特徴量を有する指先部分または指の根元部分に相当する点を検出してもよいし、その他の特徴量を用いてもよい。
【００５３】
また、上記したように、指の姿勢が変化した後は、指の現実の姿勢が指の理想の姿勢に近づいたことが期待されるが、特徴点検出部１５０は、指の現実の姿勢が指の理想の姿勢に近づいたことをより確実に把握してもよい。そのために、特徴点検出部１５０は、指の現実の姿勢データと指の理想の姿勢データとの差分絶対値が閾値を下回った場合に、１または複数の特徴点を検出するのがよい。
【００５４】
校正情報作成部１６０は、特徴点検出部１５０によって検出された１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する。校正情報は、現実物体としての手に対する仮想映像のパラメータ（例えば、仮想映像の位置、姿勢、拡大倍率など）の校正度合いを示す。かかる構成によれば、現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能となる。校正情報作成部１６０によって作成された校正情報は、校正情報記憶部１７０によって記憶される。
【００５５】
映像生成部１３０は、仮想映像を生成する。ここで、映像生成部１３０は、あらかじめ保存されている仮想映像を取得することによって仮想映像を生成してもよいし、コンピュータ・グラフィックスなどによって仮想映像を生成してもよい。表示変換部１４０は、校正情報記憶部１７０に記憶された校正情報に基づいて、仮想映像を変換することにより提示映像を得る。映像表示部１２０は、提示映像を表示する。
【００５６】
以上、本発明の第１の実施形態に係る情報処理システム１０Ａの構成例について説明した。
【００５７】
［１−３．動作例］
続いて、本発明の第１の実施形態に係る情報処理システム１０Ａの動作の流れの例について説明する。図５は、本発明の第１の実施形態に係る情報処理システム１０Ａの動作の流れを示すフローチャートである。なお、図５に示したフローチャートは、情報処理システム１０Ａの動作の流れの例を示したに過ぎない。したがって、情報処理システム１０Ａの動作は、図５に示した例に限定されない。ここでは、キャリブレーション処理が開始される前に、５本の指それぞれについての理想の姿勢データがあらかじめ登録されている例を説明する。
【００５８】
５本の指それぞれについての理想の姿勢データは、上記したような３次元ベクトル（ｄｘ,ｄｙ,ｄｚ）によって表現され得るが、具体的にどのような姿勢のデータであってもよい。例えば、理想の姿勢データは、各指の所定の特徴点が隠蔽されるような姿勢を示すデータであってもよい。かかる理想の姿勢データについて、以下に具体的に説明する。図６Ａ〜図６Ｅは、各指の理想の姿勢データを説明するための図である。図６Ａ〜図６Ｅに示すように、５本の指それぞれの先端と根元には、特徴点Ｆｐが存在する。
【００５９】
図６Ａに示した例では、親指だけが曲げられることによって、親指の２つの特徴点Ｆｐが隠蔽されている。このときの親指の姿勢が親指の理想の姿勢データとして登録されてよい。同様に、図６Ｂに示した例では、人差し指だけが曲げられることによって、人差し指の２つの特徴点Ｆｐが隠蔽されている。このときの人差し指の姿勢が人差し指の理想の姿勢データとして登録されてよい。同様に、図６Ｃに示した例では、中指だけが曲げられることによって、中指の２つの特徴点Ｆｐが隠蔽されている。このときの中指の姿勢が中指の理想の姿勢データとして登録されてよい。
【００６０】
同様に、図６Ｄに示した例では、薬指だけが曲げられることによって、薬指の２つの特徴点Ｆｐが隠蔽されている。このときの薬指の姿勢が薬指の理想の姿勢データとして登録されてよい。同様に、図６Ｅに示した例では、小指だけが曲げられることによって、小指の２つの特徴点Ｆｐが隠蔽されている。このときの小指の姿勢が小指の理想の姿勢データとして登録されてよい。このようにして５本の指それぞれの理想の姿勢データが５組の３次元ベクトル（ｄｘ,ｄｙ,ｄｚ）として登録される。
【００６１】
このように、理想の姿勢データが、各指の２つの特徴点Ｆｐが隠蔽されるような姿勢を示すデータである場合、理想の姿勢に現実の姿勢が近づいたときの撮像映像から検出された特徴点からは、折り曲げられている指の２つの特徴点Ｆｐが除外されることになる。そのため、折り曲げられる指と検出される特徴点との対応関係が明確になる。したがって、校正情報を作成するためには、このような理想の姿勢データを用いることが好適であると言える。
【００６２】
なお、ここでは説明の簡便さのために、根元関節で各指を折り曲げる場合を想定したが、各指について折り曲げられる関節の数および位置は、特に限定されない。例えば、各指について折り曲げられる関節の位置は、根元関節以外の関節の位置であってもよい。また、例えば、各指について折り曲げられる関節は、複数であってもよい。かかる場合には、５組の３次元ベクトル（ｄｘ,ｄｙ,ｄｚ）が関節の数に相当する数だけ登録されていればよい。
【００６３】
例えば、ユーザによる所定の開始操作がなされることによって、キャリブレーション処理が開始されると（ステップＳ５０１）、校正情報作成部１６０は、あらかじめ登録された理想の姿勢データが残っていない場合には（ステップＳ５０３において「Ｎｏ」）、ステップＳ５２５に動作を移行させる。一方、校正情報作成部１６０は、あらかじめ登録された理想の姿勢データがまだ残っている場合には（ステップＳ５０２において「Ｙｅｓ」）、理想の姿勢データを一つ選ぶ（ステップＳ５０５）。
【００６４】
続いて、校正情報作成部１６０から刺激情報制御部２２０に理想の姿勢データが送信される（ステップＳ５０７）。刺激情報制御部２２０によって理想の姿勢データが受信されると、接触指姿勢検知部２１０は、指の現実の姿勢データを接触により取得する（ステップＳ５０９）。続いて、刺激情報制御部２２０は、理想の姿勢データと現実の姿勢データとの差分（姿勢データ間の差分）を計算する（ステップＳ５１１）。ここで、姿勢データ間の差分の計算手法の例について説明する。
【００６５】
ここでは一例として、図４を用いて説明したように、人差し指に刺激を提示する場合を説明するが、他の指への刺激も人差し指への刺激と同様に提示され得る。例えば、指の理想の姿勢データが３次元ベクトル（ｒｘ,ｒｙ,ｒｚ）で表現される場合、ＺＹ平面におけるＺ軸方向を基準とする指の理想の姿勢データＲ１は、以下の（数式２）のように表現される。
【００６６】
【数２】
2017059088.tif 000004
・・・（数式２）
【００６７】
また、例えば、指の現実の姿勢データが３次元ベクトル（０,ｄｙ,ｄｚ）で表現される場合、ＺＹ平面におけるＺ軸方向を基準とする指の現実の姿勢データＲ２は、以下の（数式３）のように表現される。
【００６８】
【数３】
2017059088.tif 000005
・・・（数式３）
【００６９】
したがって、指の理想の姿勢データＲ１と指の現実の姿勢データＲ２との差分ｄＲは、以下の（数式４）のように表現される。
【００７０】
【数４】
2017059088.tif 000006
・・・（数式４）
【００７１】
続いて、刺激情報制御部２２０は、差分ｄＲの絶対値と閾値との関係に基づいて、指に刺激を提示するか否かを制御する。具体的には、刺激情報制御部２２０は、差分ｄＲの絶対値が閾値以上であれば（ステップＳ５１３において「≧」）、現実の姿勢を理想の姿勢に近づける必要があると判断して、刺激情報提示対象の指部位を決定する（ステップＳ５１４）。刺激情報提示対象の指部位はどのように決定されてもよいが、例えば、差分ｄＲの符号に基づいて決定されてよい。
【００７２】
例えば、差分ｄＲが正の場合には、現実の姿勢を理想の姿勢に近づけるためにＺＹ平面において指の現実の姿勢を正方向に（Ｚ軸を横軸としＹ軸を縦軸とした場合における反時計回りに）回転させる必要がある。したがって、刺激情報制御部２２０は、差分ｄＲが正の場合には、指の現実の姿勢を正方向に回転させることを促すために、ＺＹ平面においてＺ軸を基準とした負方向に存在する接触刺激情報提示部２３０−１を刺激情報提示対象の指部位として決定するとよい。
【００７３】
一方、差分ｄＲが負の場合には、現実の姿勢を理想の姿勢に近づけるためにＺＹ平面において指の現実の姿勢を負方向に（Ｚ軸を横軸としＹ軸を縦軸とした場合における時計回りに）回転させる必要がある。したがって、刺激情報制御部２２０は、差分ｄＲが負の場合には、指の現実の姿勢を負方向に回転させることを促すために、ＺＹ平面においてＺ軸を基準とした正方向に存在する接触刺激情報提示部２３０−２を刺激情報提示対象の指部位として決定するとよい。
【００７４】
また、指に提示される刺激の大きさは一定であってもよいが、差分ｄＲがどの程度であるかをユーザに把握させるために、差分ｄＲに応じて変更されるのがよい。すなわち、刺激情報制御部２２０は、差分ｄＲの絶対値に基づいて、指に提示される刺激の大きさを制御してもよい。刺激情報制御部２２０は、差分ｄＲの絶対値が大きいほど、指に提示される刺激を大きくすると、差分ｄＲがどの程度であるかを直感的にユーザに把握させることが可能である。
【００７５】
なお、第２の実施形態においても説明するように、刺激情報制御部２２０は、時間の経過に伴って、指に提示される刺激の位置を変化させてもよい。例えば、刺激情報制御部２２０は、指のうち理想の姿勢を基準として遠い側から近い側に向けて刺激の位置を変化させてもよい。このようにして時間の経過に伴って、指に提示される刺激の位置を変化させることによって、指の理想の姿勢をユーザに把握させることが可能となる。
【００７６】
続いて、刺激情報提示対象の指部位として決定された接触刺激情報提示部２３０は、振動パターンを生成して（ステップＳ５１５）、生成した振動パターンによる刺激を指に提示する。刺激が指に提示されると、ユーザが振動パターンに従って指の姿勢を変更する（ステップＳ５１７）。指の姿勢の変更によって、指の現実の姿勢が理想の姿勢に近づくことが期待される。刺激を停止するタイミングは限定されないが、差分ｄＲの絶対値が閾値未満となった場合に、直ちに刺激が停止されてもよいし、次の理想の姿勢データについての動作が始まってから刺激が停止されてもよい。
【００７７】
一方、刺激情報制御部２２０は、差分ｄＲの絶対値が閾値未満であれば（ステップＳ５１３において「＜」）、現実の姿勢が理想の姿勢に十分に近づいたと判断して、映像取得部１１０は、ユーザの手の撮像映像を取得する（ステップＳ５１９）。続いて、特徴点検出部１５０は、ユーザの手の撮像映像から１または複数の特徴点を抽出し（ステップＳ５２１）、抽出した１または複数の特徴点を指の理想の姿勢データに関連付けて蓄積する（ステップＳ５２３）。特徴点の抽出には、理想の姿勢データにあらかじめ関連付けられた特徴点群が参照される。その後、ステップＳ５０３に動作が移行される。
【００７８】
ステップＳ５０３に動作が移行され、校正情報作成部１６０は、あらかじめ登録された理想の姿勢データが残っている場合には（ステップＳ５０３において「Ｙｅｓ」）、ステップＳ５０５移行の動作が既に述べたように実行される。また、校正情報作成部１６０は、あらかじめ登録された理想の姿勢データが残っていない場合には（ステップＳ５０３において「Ｎｏ」）、蓄積された特徴点の組から校正情報（例えば、手のサイズ、指関節の位置など）を作成して（ステップＳ５２５）、キャリブレーション処理を終了する（ステップＳ５２７）。
【００７９】
キャリブレーション処理が終了した後は、映像生成部１３０が、仮想映像を生成し、表示変換部１４０が、校正情報作成部１６０によって作成された校正情報に基づいて、仮想映像を変換することにより提示映像を得る。映像表示部１２０は、表示変換部１４０によって得られた提示映像を表示する。校正情報に基づいて仮想映像を変換する手法については、既に公開されている技術を用いることが可能である（例えば、特開２０１４−１０６６４２号公報）。
【００８０】
以上、本発明の第１の実施形態に係る情報処理システム１０Ａの動作の流れの例について説明した。
【００８１】
［１−４．第１の実施形態のまとめ］
本発明の第１の実施形態によれば、特徴点検出部１５０が、指の現実の姿勢データに応じた接触による刺激が指に提示された後に指が撮像された撮像映像から１または複数の特徴点を検出する。指への刺激が提示されると、ユーザはその刺激に従って指の姿勢を変化させる。指の姿勢が変化した後は、指の現実の姿勢が指の理想の姿勢に近づいたことが期待される。
【００８２】
そして、校正情報作成部１６０が、１または複数の特徴点に基づいて、仮想映像を校正するための校正情報を作成する。したがって、本発明の第１の実施形態によれば、指の現実の姿勢が指の理想の姿勢に近づいた後に撮像された映像から検出された特徴点に基づいて校正情報が作成されるため、現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能となる。
【００８３】
［２−１．第２の実施形態の概要］
本発明の第１の実施形態においては、接触により指の姿勢が検知され、接触により指に刺激が提示される例を説明した。本発明の第２の実施形態においては、非接触により指の姿勢が検知され、非接触により指に刺激が提示される例を説明する。以下、本発明の第１の実施形態に係る構成と異なる構成について主に説明し、本発明の第１の実施形態に係る構成と同様の構成については、本発明の第１の実施形態に係る構成に付された符号と同一の符号を付して説明を省略する。
【００８４】
［２−２．システム構成例］
続いて、本発明の第２の実施形態に係る情報処理システムの構成例について説明する。図７は、本発明の第２の実施形態に係る情報処理システムの構成例を示すブロック図である。図８は、本発明の第２の実施形態に係る情報処理システムの構成例を示す図である。図７および図８に示すように、本発明の第２の実施形態に係る情報処理システム１０Ｂは、校正情報作成装置１００と姿勢検知装置２００Ｂとを有する。
【００８５】
また、図７に示すように、校正情報作成装置１００は、本発明の第１の実施形態と同様な構成を備えている。一方、図７に示すように、姿勢検知装置２００Ｂは、本発明の第１の実施形態と同様に、刺激情報制御部２２０を備えるが、図７および図８に示すように、本発明の第１の実施形態に係る接触指姿勢検知部２１０の代わりに非接触指姿勢検知部２４０を備え、本発明の第１の実施形態に係る接触刺激情報提示部２３０の代わりに非接触刺激情報提示部２５０を備えている。
【００８６】
非接触指姿勢検知部２４０は、指の現実の姿勢を検知する指姿勢検知部の一例であり、指の現実の姿勢を非接触により検知する。非接触指姿勢検知部２４０は、指の現実の姿勢を非接触により検知可能な所定のセンサを含む。非接触指姿勢検知部２４０が指の現実の姿勢を非接触により検知する手法としては、既に公開されている技術を用いることが可能である（例えば、米国特許第８６３８９８９  Ｂ２号明細書）。以下、かかる技術の概略を説明する。
【００８７】
図９Ａ〜図９Ｃは、指の現実の姿勢を非接触により検知する技術の概略を説明するための図である。図９Ａに示すように、カメラ２４１およびカメラ２４２が、ユーザの手Ｈａを撮像する。ここで、カメラ２４１およびカメラ２４２それぞれの空間における３次元位置は既知であり、カメラ２４１およびカメラ２４２それぞれの撮像領域には、重複がある。ここでは、小指および薬指が折り曲げられた左手が、カメラ２４１およびカメラ２４２によって撮像されている。
【００８８】
カメラ２４１およびカメラ２４２による撮像は、カメラ２４１およびカメラ２４２を結ぶ直線を軸とした各方位に対して撮像される。例えば、破線楕円に示すような断面Ｓｅが撮像される。断面Ｓｅの右側の破線領域は、手の皮膚表面のうち、カメラ２４１およびカメラ２４２の双方で同時に撮像された領域であり、非接触指姿勢検知部２４０は、カメラ２４１およびカメラ２４２それぞれの３次元位置に基づいて、その領域の３次元位置を算出する。
【００８９】
非接触指姿勢検知部２４０は、このようにして撮像された各断面を、図９Ｂに示すように、実際にはカメラ２４１およびカメラ２４２によって撮像されない領域も含めて楕円に近似し、近似した楕円のうち、算出された３次元位置の集合に最もよく合う楕円Ｅｓを算出する。非接触指姿勢検知部２４０は、このように楕円Ｅｓを算出する処理を各断面に対して行い、処理の結果の組み合わせを、図９Ｂに示すように、ユーザの手の３次元構造として推定する。
【００９０】
続いて、非接触指姿勢検知部２４０は、ユーザの手の３次元構造をあらかじめ用意してある手形状のモデルと照合すると、特徴点を推定することが可能である。図９Ｃには、手の特徴点（関節）Ｆｐが示され、特徴点（関節）Ｆｐ同士を結ぶ軸Ｂｎが示されている。軸Ｂｎは、手の指の姿勢を示している。つまり、非接触指姿勢検知部２４０は、複数の特徴点（関節）Ｆｐそれぞれの位置関係によって、指の姿勢を取得することが可能である。なお、手の皮膚表面の領域の３次元位置の算出には、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）が用いられてもよいし、レーザーによる距離画像カメラが用いられてもよい。
【００９１】
非接触刺激情報提示部２５０は、非接触により指に刺激を提示する。非接触刺激情報提示部２５０は、典型的には、文献（星，「ハンドトラッキング機能を搭載した空中超音波触覚ディスプレイ」，信学技報，ＨＩＰ２０１２−８０（２０１３−３））に記載されているように、超音波を発する素子（以下、「スピーカ」とも言う。）が３次元空間に配置された超音波アレイにより構成される。そして、非接触刺激情報提示部２５０は、３次元空間に存在する指の所定部位に振動刺激が提示されるように、指の所定位置に触覚神経に感知される振動を伝達する。
【００９２】
図８に示された例において、手指に向かう複数の矢印は、各超音波素子から出力される複数の振動エネルギーであり、非接触刺激情報提示部２５０は、複数のスピーカからの出力が交差する部分において、図８に波線で示したように、手指に振幅刺激を発生させることが可能である。ここで、文献（渡邊他，「複数の超音波振動子アレイを用いた全周囲触覚提示」，ロボティクス・メカトロニクス講演会講演概要集２０１１，「２Ａ２−００６」，２０１１−０５−２６）に記載されるように、複数方向に超音波アレイを配置し、複数方向からの刺激伝達ができるようにしてもよい。
【００９３】
［２−３．動作例］
続いて、本発明の第２の実施形態に係る情報処理システム１０Ｂの動作の流れの例について説明する。図１０は、本発明の第２の実施形態に係る情報処理システム１０Ｂの動作の流れを示すフローチャートである。なお、図１０に示したフローチャートは、情報処理システム１０Ｂの動作の流れの例を示したに過ぎない。したがって、情報処理システム１０Ｂの動作は、図１０に示した例に限定されない。ここでは、図５に示した本発明の第１の実施形態に係る情報処理システム１０Ａの動作との差分を主に説明する。
【００９４】
本発明の第２の実施形態においては、刺激情報制御部２２０によって理想の姿勢データが受信されると、非接触指姿勢検知部２４０は、指の現実の姿勢データを非接触により取得する（ステップＳ７０９）。また、本発明の第２の実施形態においても、刺激情報制御部２２０は、差分の絶対値が閾値以上であれば（ステップＳ５１３において「≧」）、刺激情報提示対象の指部位を決定する（ステップＳ５１４）。
【００９５】
続いて、刺激情報提示対象の指部位として決定された非接触刺激情報提示部２５０は、触覚提示パターンを生成する（ステップＳ７１５）。図１１は、触覚提示パターンの生成について説明するための図である。図１１に示すように、刺激情報制御部２２０によって刺激情報提示対象の指部位が、ユーザの手Ｈａにおける部位Ｒｅ１および部位Ｒｅ２に決定された場合を想定する。かかる場合、非接触刺激情報提示部２５０は、非接触指姿勢検知部２４０によって検知された複数の特徴点（特徴点群）Ｆｐのうち、ユーザの手Ｈａにおける部位Ｒｅ１および部位Ｒｅ２に対応する部位Ｒｅ１および部位Ｒｅ２それぞれの３次元位置に基づき、超音波アレイからの出力分布を触覚提示パターンとして決定する。
【００９６】
そして、非接触刺激情報提示部２５０は、生成した触覚提示パターンによる刺激を指に提示する。刺激が指に提示されると、ユーザが触覚提示パターンに従って指の姿勢を変更する（ステップＳ７１７）。指の姿勢の変更によって、指の現実の姿勢が理想の姿勢に近づくことが期待される。なお、第１の実施形態と同様に、刺激情報制御部２２０は、姿勢データ間の差分の絶対値に基づいて、指に提示される刺激の大きさを制御してもよい。刺激情報制御部２２０は、差分の絶対値が大きいほど、指に提示される刺激を大きくすると、差分がどの程度であるかを直感的にユーザに把握させることが可能である。
【００９７】
また、刺激情報制御部２２０は、時間の経過に伴って、指に提示される刺激の位置を変化させてもよい。時間の経過に伴って、指に提示される刺激の位置を変化させることによって、指の理想の姿勢をユーザに把握させることが可能となる。図１２は、時間の経過に伴って指に提示される刺激の位置を変化させる例を説明するための図である。ここでは、親指に刺激を提示する場合を想定する。
【００９８】
図１２を参照すると、指の理想の姿勢Ｒｐに比べて指の現実の姿勢が外側に開いている。このとき、刺激情報制御部２２０は、時間の経過に伴って（時刻ｔ０、時刻ｔ１、時刻ｔ２の順に時間が経過するにつれて）、提示される刺激の位置を徐々に内側に変化させるとよい（刺激Ｓｔ０、刺激Ｓｔ１、刺激Ｓｔ２の順に刺激を変化させるとよい）。なお、指の理想の姿勢Ｒｐに比べて指の現実の姿勢が内側に開いているときには、刺激情報制御部２２０は、時間の経過に伴って、提示される刺激の位置を徐々に外側に変化させるとよい。
【００９９】
［２−４．第２の実施形態のまとめ］
本発明の第２の実施形態によれば、本発明の第１の実施形態と同様に、現実物体としての手と仮想映像との間のキャリブレーションを簡易かつ迅速に行うことが可能となる。また、本発明の第２の実施形態によれば、非接触指姿勢検知部２４０が非接触により指の現実の姿勢を検知し、非接触刺激情報提示部２５０が非接触により指に刺激を提示する。そのため、本発明の第２の実施形態によれば、ユーザがデバイスを装着する煩わしさを解消することができる。
【０１００】
［３．変形例］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１０１】
例えば、上記では、校正情報作成装置１００について説明したが、校正情報作成装置１００が有する機能の一部または全部は、ハードウェアにより構成されてもよいし、プログラム（校正情報作成プログラム）によって実現されてもよい。例えば、校正情報作成装置１００が有する機能の一部または全部は、ＣＰＵによってＲＯＭから読み込まれ、ＲＡＭに展開されたプログラムが実行されることによって実現されてもよい。また、そのプログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【０１０２】
また、上記では、姿勢検知装置２００について説明したが、姿勢検知装置２００が有する機能の一部または全部は、ハードウェアにより構成されてもよいし、プログラム（姿勢検知プログラム）によって実現されてもよい。例えば、姿勢検知装置２００が有する機能の一部または全部は、ＣＰＵによってＲＯＭから読み込まれ、ＲＡＭに展開されたプログラムが実行されることによって実現されてもよい。また、そのプログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【符号の説明】
【０１０３】
１０Ａ，１０Ｂ  情報処理システム
１００  校正情報作成装置
１１０  映像取得部
１２０  映像表示部
１３０  映像生成部
１４０  表示変換部
１５０  特徴点検出部
１６０  校正情報作成部
１７０  校正情報記憶部
２００（２００Ａ，２００Ｂ）  姿勢検知装置
２１０  接触指姿勢検知部
２２０  刺激情報制御部
２３０  接触刺激情報提示部
２４０  非接触指姿勢検知部
２４１  カメラ
２４２  カメラ
２５０  非接触刺激情報提示部
【図１】
2017059088.tif 000007
【図２】
2017059088.tif 000008
【図３】
2017059088.tif 000009
【図４】
2017059088.tif 000010
【図５】
2017059088.tif 000011
【図６Ａ】
2017059088.tif 000012
【図６Ｂ】
2017059088.tif 000013
【図６Ｃ】
2017059088.tif 000014
【図６Ｄ】
2017059088.tif 000015
【図６Ｅ】
2017059088.tif 000016
【図７】
2017059088.tif 000017
【図８】
2017059088.tif 000018
【図９Ａ】
2017059088.tif 000019
【図９Ｂ】
2017059088.tif 000020
【図９Ｃ】
2017059088.tif 000021
【図１０】
2017059088.tif 000022
【図１１】
2017059088.tif 000023
【図１２】
2017059088.tif 000024