(57)【要約】【課題】指導者の拘束時間を抑制し、かつ学習者が質のよい独学で技術を繰り返し学習できる学習支援システムを提供する。【解決手段】本発明の学習支援システムは、測定対象物を測定する実測定機を用いた作業の学習を支援する学習支援システムであって、実３次元空間内における対象物の位置及び／又は姿勢を認識する位置・姿勢認識部と、仮想３次元空間内で仮想測定機を用いてアバターが実施する模範作業を規定する学習データを記憶する記憶部と、位置・姿勢認識部が認識した対象物の位置及び／又は姿勢、及び記憶部に記憶された学習データに基づき、アバターが実施する模範作業の３次元映像を生成する立体映像生成部と、学習者の頭部に装着され、実３次元空間に重畳して３次元映像を表示するヘッドマウントディスプレイとを備える。【選択図】図１
2019200257.tif 000002
【特許請求の範囲】
【請求項１】
測定対象物を測定する実測定機を用いた作業の学習を支援する学習支援システムであって、
実３次元空間内における対象物の位置及び／又は姿勢を認識する位置・姿勢認識部と、
仮想３次元空間内で仮想測定機を用いてアバターが実施する模範作業を規定する学習データを記憶する記憶部と、
前記位置・姿勢認識部が認識した前記対象物の位置及び／又は姿勢、及び前記記憶部に記憶された前記学習データに基づき、前記アバターが実施する前記模範作業の３次元映像を生成する立体映像生成部と、
学習者の頭部に装着され、実３次元空間に重畳して前記３次元映像を表示するヘッドマウントディスプレイと、
を備えたことを特徴とする学習支援システム。
【請求項２】
前記位置・姿勢認識部は、実３次元空間での対象物の３次元座標を検出する３次元センサ、及び／又は前記ヘッドマウントディスプレイに搭載され該ヘッドマウントディスプレイの位置及び／又は姿勢を検知する頭部センサからの出力に基づき、実３次元空間内における対象物の位置及び／又は姿勢を認識することを特徴とする請求項１に記載の学習支援システム。
【請求項３】
前記立体映像生成部は、実３次元空間における座標系と仮想３次元空間における座標系との対応関係を認識し、実３次元空間における前記ヘッドマウントディスプレイの移動に合わせて仮想３次元空間内を視野が移動するように３次元映像データを生成することを特徴とする請求項１または２に記載の学習支援システム。
【請求項４】
前記立体映像生成部は、
実３次元空間において前記ヘッドマウントディスプレイがある位置座標に対応する仮想３次元空間内の位置座標に前記アバターを配置し、
実３次元空間において前記実測定機が配置された位置座標に対応する仮想３次元空間内の位置座標に前記仮想測定機を配置し、
前記学習データと前記位置・姿勢認識部が出力する前記学習者及び／又は前記実測定機の位置・姿勢とに基づいて、前記学習者による作業の進捗を把握し、
把握した作業の進捗と学習データとに基づいて、前記学習者の作業に所定時間だけ先行するように、模範作業の３次元映像データを生成することを特徴とする請求項１から３の何れか１項に記載の学習支援システム。
【請求項５】
前記立体映像生成部は、把握した作業の進捗の模範作業からの遅延時間を計算し、当該遅延時間を前記学習者に通知することを特徴とする請求項１から４の何れか１項に記載の学習支援システム。
【請求項６】
前記立体映像生成部は、前記学習者の実３次元空間内の移動を伴わない操作に応じて、仮想３次元間内を視野が移動するように３次元映像データを生成することを特徴とする、請求項１から５の何れか１項に記載の学習支援システム。
【請求項７】
ヘッドマウントディスプレイは透過型のディスプレイを備えることを特徴とする請求項１から６の何れか１項に記載の学習支援システム。
【請求項８】
コンピュータを請求項１から７の何れか１項に記載の学習支援システムとして機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器操作や作業手順の学習を支援する学習支援システム及びプログラムに関する。
【背景技術】
【０００２】
機器の操作方法や作業手順を学習する方法としては、従来から、講習等による座学による学習、ＯＪＴ（オン・ザ・ジョブ・トレーニング）やマンツーマン・トレーニング等の熟練者による直接的な指導を伴う学習、手順書や教本による学習、トレーニングビデオによる学習といった各種の方法が取り入れられている。また、装置を用いる作業について個別の作業者のレベルに基づく作業管理や作業学習のための支援システムも提案されている（例えば特許文献1を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−０９２０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述の学習方法には、それぞれ下記のような課題がある。
例えば、ＯＪＴは、初心者の失敗経験を知識・技術の積み重ねにつなげられる方法である反面、学習者が作業内容についていけなくて悩むことが多い、指導者の時間的・精神的負担が大きい、指導者の指導力（指導者の資質、能力、態度など）によって効果は大きく左右される、指導者が指導方法を学習しなければならない、学習が初心者である場合に基礎的な理解が困難または不足することが多いといった課題がある。
【０００５】
また、マンツーマン・トレーニングは、学習者にとっては理想的だがＯＪＴと同様の課題があるだけでなく、反復トレーニングのために指導者が拘束されるため効率がよくない、作業手順が変更された場合のトレーニングコスト減少幅が少ないといった課題もある。
【０００６】
手順書や教本等のドキュメントによる指導は、学習者が独学することが可能であるが、ドキュメントの質によって理解度が変わる、学習者のレベルに合わせたドキュメントが必要である、ドキュメントを作成するためにかなり大きな時間が必要である、実際に学習内容を実践している状況を学習者が頭でイメージしなければならない、文字にしにくいコツやノウハウが伝わらない、といった課題がある。
【０００７】
トレーニングビデオもドキュメントと同様に独学が可能であるが、見たい部分が見えず分からないことが多い、ビデオを閲覧中に手順を記憶するのが難しく自分で試行する時にあまり役に立たない、覚えなければならない手順ごとにビデオを停止したり、同じ部分を再生したりするなどの操作も煩雑である、目の前の作業内容とビデオの間で頻繁に視点を変える必要があって効率が悪い、といった課題がある。
【０００８】
このように、指導者の拘束時間を可能な限り少なくし、かつ学習者が質のよい独学で技術を繰り返し習得できる指導方法がこれまで実現されてこなかった。
【０００９】
本発明の目的は、指導者の拘束時間を抑制し、かつ学習者が質のよい独学で技術を繰り返し学習できる学習支援システムおよびこれに適したプログラムを提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の実施形態に係る学習支援システムは、測定対象物を測定する実測定機を用いた作業の学習を支援する学習支援システムであって、実３次元空間内における対象物の位置及び／又は姿勢を認識する位置・姿勢認識部と、仮想３次元空間内で仮想測定機を用いてアバターが実施する模範作業を規定する学習データを記憶する記憶部と、位置・姿勢認識部が認識した対象物の位置及び／又は姿勢、及び記憶部に記憶された学習データに基づき、アバターが実施する模範作業の３次元映像を生成する立体映像生成部と、学習者の頭部に装着され、実３次元空間に重畳して３次元映像を表示するヘッドマウントディスプレイと、を備える。このようにすれば、アバターにより再現される模範作業を、学習者が様々な角度からその様子を繰り返し観察することができる。
【００１１】
本発明では、位置・姿勢認識部は、実３次元空間での対象物の３次元座標を検出する３次元センサ、及び／又はヘッドマウントディスプレイに搭載され該ヘッドマウントディスプレイの位置及び／又は姿勢を検知する頭部センサからの出力に基づき、実３次元空間内における対象物の位置及び／又は姿勢を認識するとよい。このようにすれば、実３次元空間における実測定機や学習者の位置及び／又は姿勢を認識することが可能となる。
【００１２】
本発明では、立体映像生成部は、実３次元空間における座標系と仮想３次元空間における座標系との対応関係を認識し、実３次元空間におけるヘッドマウントディスプレイの移動に合わせて仮想３次元空間内を視野が移動するように３次元映像データを生成するとよい。このようにすれば、学習者は複雑な操作を必要とせず実際に移動しながら自由な視点で模範作業を観察することができる。
【００１３】
本発明では、立体映像生成部は、実３次元空間においてヘッドマウントディスプレイがある位置座標に対応する仮想３次元空間内の位置座標にアバターを配置し、実３次元空間において実測定機が配置された位置座標に対応する仮想３次元空間内の位置座標に仮想測定機を配置し、学習データと位置・姿勢認識部が出力する学習者及び／又は実測定機の位置・姿勢とに基づいて、学習者による作業の進捗を把握し、把握した作業の進捗と学習データとに基づいて、学習者の作業に所定時間だけ先行するように、模範作業の３次元映像データを生成するとよい。このようにすれば、学習者の作業速度に合わせてアバターの動きが自動的に調整される。学習者は、アバターの動作に付いていくように作業を行うことで、熟練者の作業を真似て作業の練習を行うことができる。
【００１４】
本発明では、立体映像生成部は、把握した作業の進捗の模範作業からの遅延時間を計算し、当該遅延時間を学習者に通知するとよい。このようにすれば、学習者は熟練者と比較した自分の習熟度を容易に把握することができる。また、学習者は、自分が苦手な工程を把握したり、目標となる作業時間との差異を認識しつつ測定時間の短縮を測ったりすることができる。
【００１５】
本発明では、立体映像生成部は、学習者の実３次元空間内の移動を伴わない操作に応じて、仮想３次元間内を視野が移動するように３次元映像データを生成するとよい。このようにすれば、学習者は実際に移動することなく仮想３次元空間内において自由な位置から模範作業を観察することができる。
【００１６】
本発明では、ヘッドマウントディスプレイは透過型のディスプレイを備えるとよい。
【００１７】
本発明の実施形態に係るプログラムは、コンピュータを上記何れかの学習支援システムとして機能させることを特徴とする。
【図面の簡単な説明】
【００１８】
【図１】学習支援システム１の構成を、学習者Ｌ及び実測定機ＲＭとともに示す模式図である。
【図２】コンピュータ１００の構成を示すブロック図である。
【図３】ヘッドマウントディスプレイ２００の構成を示すブロック図である。
【図４】第１学習モードにおける学習者ＬとアバターＡＶ及び仮想測定機ＡＭの関係を示す模式図である。
【図５】第２学習モードにおける学習者ＬとアバターＡＶ及び仮想測定機ＡＭの関係を示す模式図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態に係る学習支援システム１を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
【００２０】
（学習支援システム１の構成）
図１は、学習支援システム１の構成を、学習者Ｌ及び操作方法を学習する対象である測定機の実機である（以下「実測定機」という）実測定機ＲＭとともに示す模式図である。本実施形態では、実測定機ＲＭは、測定対象物の３次元座標や所定位置の長さ等を測定する装置である。実測定機ＲＭとしては、例えば３次元位置測定機や画像測定機が挙げられる。図１に示すように、学習支援システム１は、コンピュータ１００と、ヘッドマウントディスプレイ２００と、３Ｄセンサ３００とを備える。
【００２１】
図２はコンピュータ１００の機能ブロック図である。コンピュータ１００は、ＣＰＵ（Central Processing Unit）１１０、記憶部１２０、測定機制御部１３０、操作入力部１４０、及び位置・姿勢認識部１５０を有する。さらに、コンピュータ１００は、立体映像生成部１６０、および音声入出力部１７０を有する。コンピュータ１００には、ヘッドマウントディスプレイ２００、３Ｄセンサ３００、及び実測定機ＲＭが接続される。
【００２２】
ＣＰＵ１１０は所定のプログラムの実行によって各部の制御や所定の演算を行う。記憶部１２０は、主記憶部および副記憶部を含む。記憶部は、ＣＰＵ１１０をはじめとするコンピュータ１００の各部で実行するプログラムや各部で用いられる各種データを記憶する。本実施形態の学習支援システム１においては、記憶部１２０は、学習する作業手順などの学習データを記憶する。
【００２３】
学習データは、例えば、仮想測定機ＡＭや仮想人体モデル（アバター）ＡＶの形状、姿勢、動き、位置音声等が対応付けられたデータであり、学習時に再生される３次元映像や音声などの元となるデータである。すなわち、学習データは、仮想３次元空間内で仮想測定機ＡＭを用いてアバターＡＶが実施する模範作業を規定する。このような学習データに含まれる仮想測定機ＡＭの形状としては、例えばＣＡＤデータを用いるとよい。また、アバターＡＶの形状としては、学習者Ｌ自身や各種のキャラクタの３次元形状データを用いるとよい。仮想測定機ＡＭやアバターＡＶの姿勢や動きを示すデータは、熟練者の作業をモーションキャプチャすることにより制作するとよい。あるいは、作業手順等の情報からモデルデータを構築してもよい。また、音声については、人間（熟練者、ナレーター等）の肉声を録音したものとしてもよいし、合成音声を再生させるためのデータとしてもよい。
【００２４】
測定機制御部１３０は、ユーザによる指示や記憶部１２０に格納されたプログラムに基づいて、実測定機ＲＭを制御したり実測定機ＲＭのステータスや測定値を取得したりできるように構成される。操作入力部１４０は、図示しないキーボード、マウス、タッチパネルといった入力デバイスからの操作入力を受け付ける。
【００２５】
音声入出力部１７０は、ヘッドマウントディスプレイ２００が備えるマイク２３０からの音声入力信号を受け取るとともに、ヘッドマウントディスプレイ２００が備えるスピーカ２４０に音声出力信号を出力する。
【００２６】
位置・姿勢認識部１５０は、３Ｄセンサ３００が取得した情報、ヘッドマウントディスプレイ２００の頭部センサ２２０が検出したヘッドマウントディスプレイ２００の位置や向き、ヘッドマウントディスプレイ２００の周辺環境等をコンピュータ１００に取り込み、これらに基づいて、実３次元空間内における対象物（学習者Ｌ、実測定機ＲＭ等）の位置（３次元座標）や姿勢を認識する。ここで、３Ｄセンサ３００は、実３次元空間での対象物（例えば実測定機ＲＭ及び学習者Ｌ）の３次元座標を検出するセンサであり、実測定機ＲＭの周辺に配置される。
【００２７】
立体映像生成部１６０は、記憶部１２０に記憶されている学習データ、操作入力部１４０が受け付けた入力操作、ヘッドマウントディスプレイ２００のマイク２３０に入力された音声、及び位置・姿勢認識部１５０が認識した対象物の位置や姿勢に基づき、仮想３次元空間内に仮想測定機ＡＭやアバターＡＶが配置された３次元映像のデータを生成する。生成された３次元映像データに基づいて、ヘッドマウントディスプレイ２００の表示部に３次元映像が表示される。
【００２８】
立体映像生成部１６０は、実３次元空間における座標系と仮想３次元空間における座標系との対応関係を認識し３次元映像の生成に利用する。具体的には、立体映像生成部１６０は、実３次元空間においてヘッドマウントディスプレイ２００を装着した学習者Ｌが移動すると、その実３次元空間内での移動に合わせて仮想３次元空間内を視野が移動するように３次元映像データを生成する（追随表示）。このようにすれば、複雑な操作を必要とせずに模範作業を様々な角度から観察することが可能となる。
【００２９】
実３次元空間における座標系と仮想３次元空間における座標系との対応関係は、予め設定されるようにしてもよいし、位置・姿勢認識部１５０が認識した対象物の位置や姿勢に基づき設定されるようにしてもよい。位置・姿勢認識部１５０が認識した対象物の位置や姿勢に基づき実３次元空間における座標系と仮想３次元空間における座標系との対応関係を設定する場合、実測定機ＲＭの配置位置に合わせて仮想３次元空間に仮想測定機ＡＭが配置されるように座標系を合わせるとよい。
【００３０】
また、立体映像生成部１６０は、学習者Ｌのジェスチャや入力デバイスの操作に応じて、実３次元空間内を移動しなくても仮想３次元間内を視野が移動するように３次元映像データを生成する（非追随表示）。上述の実３次元空間内での移動に合わせて仮想３次元空間内を移動する追随表示では、物理的に移動可能な位置からしか模範作業を観察ができないのに対し、非追随表示では、仮想３次元空間内において自由な位置から模範作業を観察することができる。例えば、空中から俯瞰的に模範作業を観察することが可能となる。
【００３１】
図３は、ヘッドマウントディスプレイ２００の構成を示すブロック図である。ヘッドマウントディスプレイ２００は、学習者Ｌが頭部に装着するデバイスであり、表示部２１０、頭部センサ２２０、マイク２３０、及びスピーカ２４０を備える。
【００３２】
表示部２１０は、２枚の透過型ディスプレイを備える。これら２枚のディスプレイは、それぞれ右眼、左眼に対応する。表示部２１０は、コンピュータ１００が備える立体映像生成部１６０が学習データ等に基づいて生成した３次元映像を表示する。ディスプレイが透過型であることから、学習者Ｌは、表示部２１０を介して実空間における周辺環境を視認することができる。したがって、表示部２１０が表示する３次元映像は実空間の周辺環境に重畳して表示される。
【００３３】
マイク２３０は、学習者Ｌの発する音声を収音して音声入力信号に変換し、音声入出力部１７０に供給する。ヘッドマウントディスプレイ２００が学習者の頭部に装着された状態において、マイク２３０は学習者Ｌの発する声を収音しやすい口の周辺に位置するように配置される。マイク２３０には、指向性が比較的高いマイクを用いるとよい。
【００３４】
スピーカ２４０は、学習データに基づき音声入出力部１７０から出力される音声出力信号に基づいて、音声を出力する。ヘッドマウントディスプレイ２００が学習者の頭部に装着された状態において、スピーカ２４０は学習者Ｌの耳に当節するように配置されるとよい。なお、マイク２３０及び／又はスピーカ２４０はヘッドマウントディスプレイ２００とは別体として提供されてもよい。
【００３５】
頭部センサ２２０は、ヘッドマウントディスプレイ２００の位置や姿勢（つまりヘッドマウントディスプレイ２００を装着した学習者Ｌの頭の位置や向き）、ヘッドマウントディスプレイ２００が置かれた環境等を検知する。頭部センサ２２０としては、例えば、加速度センサ、ジャイロセンサ、方位センサ、深度センサ、カメラ等を用いることができる。頭部センサ２２０の出力は、位置・姿勢認識部１５０に入力される。
【００３６】
（学習支援システムの使用例）
続いて、上記のように構成される学習支援システム１の使用例を説明する。学習支援システム１を使用して学習する際、学習者Ｌは、図４に示すように、ヘッドマウントディスプレイ２００を装着する。ヘッドマウントディスプレイ２００の表示部２１０には、立体映像生成部１６０が生成した３次元映像データに基づき、仮想３次元空間内に仮想測定機ＡＭやアバターＡＶが表示される。また、スピーカ２４０からは、３次元映像として再生される模範作業の進行に合わせて音声が出力される。
本実施形態の学習支援システム１は、以下で説明するように、２つの学習モードを備える。
【００３７】
（第１学習モード）
第１学習モードは、仮想空間内でアバターＡＶが仮想測定機ＡＭを操作して行う模範作業を、学習者Ｌがヘッドマウントディスプレイ２００を装着して視聴することにより、学習を行うモードである。図４は、第１学習モードにおける学習者ＬとアバターＡＶ及び仮想測定機ＡＭの関係を示す模式図である。
【００３８】
ジェスチャや入力デバイスによって、第１学習モードで学習データを再生するよう入力操作を行うと、第１学習モードで表示部２１０に模範作業の様子が３次元映像として表示され、スピーカ２４０からは映像に合わせて音声が出力される。
【００３９】
すなわち、立体映像生成部１６０は、記憶部１２０に格納された学習データに基づいて、仮想３次元空間内に、アバターＡＶが仮想測定機ＡＭを用いて作業を行う様子についての３次元映像を生成する。このとき立体映像生成部１６０は、頭部センサ２２０や３Ｄセンサ３００が検出した学習者Ｌの位置や姿勢、実３次元空間の座標系と仮想３次元空間の座標系の関係等に基づいて、仮想３次元空間内における学習者Ｌの位置及び姿勢（視線位置及び向き）を特定し、当該位置及び姿勢にて見える模範作業の様子の３次元映像を生成する。
【００４０】
学習者Ｌは、ジェスチャや入力デバイスの操作より、停止、繰り返し、スロー、巻き戻し等を指示することができる。立体映像生成部１６０はこれらの指示を操作入力部１４０や位置・姿勢認識部１５０を介して受け取り、以後生成する３次元映像データに反映させる。このような操作を可能とすることで、学習者Ｌは模範作業を、繰り返したり、ゆっくり動かしたりしながら、自由に観察することができる。
【００４１】
第１学習モードでは、実３次元空間においてヘッドマウントディスプレイ２００を装着した学習者Ｌの移動に合わせて仮想３次元空間内を視野が移動するように３次元映像が表示される追随表示と、学習者Ｌのジェスチャや入力デバイスの操作に応じて、実３次元空間内を移動しなくても仮想３次元間内を視野が移動するように３次元映像が表示される非追随表示のいずれもが可能とされる。追随表示と非追随表示とは、ジェスチャや入力デバイスの操作より切り替えられるように構成される。追随表示では、実際に移動しながら複雑な操作を必要とせず自由な視点で観察できる。また、非追随表示では、仮想３次元空間内において自由な位置から模範作業を観察することができる。非追随表示では、例えば、空中から俯瞰的に模範作業を観察することも可能となる。
【００４２】
第１学習モードでは、アバターＡＶが仮想空間内で再現する熟練者の模範作業の様子を、学習者が何度でも繰り返し模範を見ることができる。その際、学習者Ｌが移動して様々な角度から模範作業の様子を観察したり、再生速度を遅くしたり一時停止したりして熟視したりすることにより、全体から詳細まで、様々な角度・観点から模範作業を観察することができる。その結果、学習者が急速に作業を習熟することが期待できる。また、作業のコツやノウハウを測定操作ごとに見たりメッセージを聞いたりでき、作業の要点を理解しやすいため、効率的な学習を支援することが可能となる。
【００４３】
（第２学習モード）
第２学習モードは、仮想空間内でアバターＡＶが仮想測定機ＡＭを操作して行う模範作業に追随して、学習者Ｌが実測定機ＲＭを操作することにより、学習を行うモードである。図５は、第２学習モードにおける学習者ＬとアバターＡＶ及び仮想測定機ＡＭの関係を示す模式図である。なお、図５において、仮想測定機ＡＭは実測定機ＲＭと重なるように表示されている。
【００４４】
ジェスチャや入力デバイスによって、第２学習モードで学習データを再生するよう入力操作を行うと、第２学習モードで表示部２１０に模範作業の様子が３次元映像として表示され、スピーカ２４０からは映像に合わせて音声が出力される。
【００４５】
すなわち、立体映像生成部１６０は、記憶部１２０に格納された学習データに基づいて、仮想３次元空間内に、アバターＡＶが仮想測定機ＡＭを用いて作業を行う様子についての３次元映像を生成する。このとき立体映像生成部１６０は、頭部センサ２２０や３Ｄセンサ３００が検出した学習者Ｌの位置や姿勢、実３次元空間の座標系と仮想３次元空間の座標系の関係等に基づいて、仮想３次元空間内における学習者Ｌの位置及び姿勢（視線位置及び向き）を特定し、当該位置及び姿勢にて見える模範作業の様子の３次元映像を生成する。
【００４６】
第２学習モードでは、仮想３次元空間内においてアバターＡＶは学習者Ｌと重なるように表示される。つまり、実３次元空間においてヘッドマウントディスプレイ２００がある位置（つまり、学習者Ｌがいる位置座標）に対応する仮想３次元空間内の位置座標に、アバターＡＶが配置される。また、仮想３次元空間内において仮想測定機ＡＭは実測定機ＲＭと重なるように表示される。つまり、実３次元空間において実測定機ＲＭが配置された位置座標に対応する仮想３次元空間内の位置座標に、仮想測定機ＡＭが配置される。第２学習モードでは、実３次元空間においてヘッドマウントディスプレイ２００を装着した学習者Ｌの移動に合わせて仮想３次元空間内を視野が移動するように３次元映像が表示される追随表示が用いられる。
【００４７】
学習データの再生開始後、立体映像生成部１６０は、再生中の学習データと位置・姿勢認識部１５０が出力する学習者Ｌや実測定機ＲＭの位置・姿勢とを、随時対比して、学習者Ｌによる作業の進捗を把握する。なお、立体映像生成部１６０は、作業の進捗を把握する際に、学習者Ｌや実測定機ＲＭの位置・姿勢に加え、測定機制御部１３０を介して実測定機ＲＭから取得したステータスや測定値を利用してもよい。そして、立体映像生成部１６０は、把握した作業の進捗と学習データとに基づいて、学習者Ｌの作業に所定時間だけ先行するように、模範作業の３次元映像をヘッドマウントディスプレイ２００の表示部２１０に表示させる。つまり、立体映像生成部１６０は、アバターＡＶが行う模範作業を学習者Ｌがトレースしていることを確認しながら、学習者Ｌが次に行うべき作業の様子を仮想３次元空間内におけるアバターＡＶの模範作業として表示する。
【００４８】
このような構成により、学習者Ｌの作業速度に合わせてアバターＡＶの動きが自動的に調整される。学習者Ｌは、アバターＡＶの動作に付いていくように作業を行うことで、熟練者の作業を真似て作業を行うことができる。ヘッドマウントディスプレイ２００を装着した学習者Ｌには、アバターＡＶが操作する仮想測定機ＡＭと自らが操作する実測定機ＲＭとが重なって見えることから、アバターＡＶが学習者Ｌ自身に重なりつつ、自身の作業にやや先行して示される模範作業の様子をアバターＡＶと同じ視点で観察することができる。
【００４９】
また、立体映像生成部１６０は、把握した作業の進捗の模範作業からの遅れ（遅延時間）を計算し、その遅延時間を学習者Ｌに通知する。通知の方法としては、ヘッドマウントディスプレイ２００の表示部２１０に表示することにより通知する、スピーカ２４０からの音声にて通知する等とするとよい。
【００５０】
また、第１学習モードと同様、学習者Ｌは、ジェスチャや入力デバイスの操作より、停止、繰り返し、スロー、巻き戻し等を指示することができる。立体映像生成部１６０はこれらの指示を操作入力部１４０や位置・姿勢認識部１５０を介して受け取り、以後生成する３次元映像データに反映させる。このような操作を可能とすることで、作業を何度も繰り返して練習することができる。
【００５１】
第２学習モードでは、アバターＡＶが仮想空間内で再現する熟練者の模範作業に追随して、学習者Ｌが実測定機ＲＭを操作してトレーニングを行うことができる。その際、学習者Ｌの作業の進捗に応じてアバターＡＶが学習者Ｌより少し先の動作をするといったように、学習者Ｌのレベルに自動的に合わせて模範作業が再生されるので、自然と作業が上達することが期待できる。その結果、学習者Ｌが急速に作業を習熟することが期待できる。また、作業のコツやノウハウを測定操作ごとに見たり、メッセージを聞いたりでき、理解しやすいため、効率的な学習を支援することが可能となる。
【００５２】
このような構成によれば、模範作業からの遅れを把握できるので、学習者Ｌは熟練者と比較した自分の習熟度を容易に把握することができる。また、学習者Ｌは、自分が苦手な工程を把握したり、目標となる作業時間との差異を認識しつつ測定時間の短縮を測ったりすることができる。
【００５３】
以上で説明したように、本発明の各実施形態に係る学習支援システム１によれば、熟練者の模範作業を仮想人体モデル（アバター）で再現することで、学習者Ｌが様々な角度からその様子を繰り返し観察することができる。また、アバターに初心者が重なり、少し先を動作するようなアバターの動きに倣って試行することができる。また、学習者の動作速度に合わせて模範動作の速度を自動調節することができる。また、各学習モードでの学習を、学習者が繰り返し独学することを可能にして、模範作業の効率的な動作に近づくよう短時間に習熟することを支援することができる。
【００５４】
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。たとえば、上記の実施形態における第２学習モードでは、立体映像生成部１６０は、学習データの再生開始後、随時、学習者Ｌによる作業の進捗を把握し、学習者の作業にやや先行するように、模範作業の３次元映像をヘッドマウントディスプレイ２００の表示部２１０に表示させたが、立体映像生成部１６０は、所定の時点（または作業の最後）まで、模範作業を理想のスピード（例えば熟練者による作業スピード）で再生するように構成してもよい。
【００５５】
この場合、立体映像生成部１６０は、再生中の学習データと３Ｄセンサ３００で取得した対象物の位置座標に基づき位置・姿勢認識部１５０が出力する学習者や実測定機ＲＭの位置や姿勢とを対比して、学習者Ｌによる作業の進捗を把握するとよい。そして、模範作業からの学習者Ｌによる作業の遅れ（遅延時間）を計算し、その遅延時間を学習者Ｌに通知する。通知の方法としては、ヘッドマウントディスプレイ２００の表示部２１０に表示することにより通知する、スピーカ２４０からの音声にて通知する等とするとよい。
【００５６】
また、上記の実施形態では、ヘッドマウントディスプレイ２００は表示部２１０として透過型のディスプレイを備えたが、表示部２１０は非透過型のディスプレイとしてもよい。非透過型のディスプレイを用いる場合、ヘッドマウントディスプレイ２００には実３次元空間において学習者Ｌの視線方向（ヘッドマウントディスプレイ２００の前方）を撮像するカメラを備え、当該カメラで撮像した実３次元空間の映像と立体映像生成部１６０が生成した３次元映像とを重畳して非透過型のディスプレイに表示するようにするとよい。
【００５７】
また、前述の実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。
【符号の説明】
【００５８】
１  学習支援システム
１００  コンピュータ
２００  ヘッドマウントディスプレイ
３００  ３Ｄセンサ
ＲＭ  実測定機
ＡＭ  仮想測定機
ＡＶ  アバター
Ｌ  学習者
【図１】
2019200257.tif 000003
【図２】
2019200257.tif 000004
【図３】
2019200257.tif 000005
【図４】
2019200257.tif 000006
【図５】
2019200257.tif 000007