(57)【要約】【課題】仮想空間において行われる作業の訓練において、訓練者の周囲を確認する行動を評価する。【解決手段】記憶部は、仮想空間における訓練者の位置からの視野画像を記憶する。検出部は、実空間における訓練者の視野方向を検出する。特定部は、視野方向に基づいて仮想空間における訓練者の視野を特定する。表示部は、視野画像のうち視野に含まれる部分を表示する。算出部は、仮想空間における訓練者の位置から作業の対象に向かう方向を基準方向として、この基準方向からの視野に含まれる訓練者の視線方向の変化量に基づいて、訓練者の周囲を確認する行動を評価する指標値を算出する。【選択図】図８
2020052281.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間において作業の訓練を行う訓練者の行動を評価する訓練システムであって、
前記仮想空間における前記訓練者の位置からの視野画像を記憶する記憶部と、
実空間における前記訓練者の視野方向を検出する検出部と、
前記視野方向に基づいて前記仮想空間における前記訓練者の視野を特定する特定部と、
前記視野画像のうち前記視野に含まれる部分を表示する表示部と、
前記仮想空間における前記訓練者の位置から前記作業の対象に向かう方向を基準方向として、当該基準方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する指標値を算出する算出部と
を備える訓練システム。
【請求項２】
前記算出部は、前記変化量が大きい程、前記指標値を増加させる
請求項１に記載の訓練システム。
【請求項３】
前記算出部は、前記視線方向が前記基準方向から複数回変化したことに応じて得られる複数の変化量により前記視線方向が偏っていることが示される場合には、前記複数の変化量のうち少なくとも１つを前記指標値に反映しない
請求項１又は２に記載の訓練システム。
【請求項４】
前記算出部は、前記変化量が閾値より大きい状態が第１の所定時間以上継続した場合には、前記指標値を減少させる
請求項１から３のいずれか１項に記載の訓練システム。
【請求項５】
前記算出部は、前記変化量が閾値以下である状態が第２の所定時間以上継続した場合には、前記指標値を減少させる
請求項１から４のいずれか１項に記載の訓練システム。
【請求項６】
前記算出部は、前記仮想空間において事象が発生したとき、前記位置から前記事象が発生した他の位置へと向かう方向である注目方向と前記視線方向との差が所定量以下になったか否かに応じて、前記指標値を増減させる
請求項１から５のいずれか１項に記載の訓練システム。
【請求項７】
前記算出部は、前記変化量が閾値より大きい状態となる期間に含まれる１の時刻と、前記仮想空間において特定の作業が行われた他の時刻との関係に応じて、前記指標値の増加量に重み付けを行う
請求項１から６のいずれか１項に記載の訓練システム。
【請求項８】
前記変化量は、前記仮想空間における前記基準方向と前記視線方向とが成す角度である
請求項１から７のいずれか１項に記載の訓練システム。
【請求項９】
前記変化量は、前記仮想空間における前記基準方向上の１の点と前記視線方向上の他の点とを結んだ線の長さである
請求項１から７のいずれか１項に記載の訓練システム。
【請求項１０】
仮想空間において作業の訓練を行う訓練者の行動を評価する訓練システムに含まれるコンピュータに、
実空間における前記訓練者の視野方向を検出するステップと、
前記視野方向に基づいて前記仮想空間における前記訓練者の視野を特定するステップと、
記憶部に記憶された視野画像であって前記仮想空間における前記訓練者の位置からの前記視野画像のうち前記視野に含まれる部分を表示するステップと、
前記仮想空間における前記訓練者の位置から前記作業の対象に向かう方向を基準方向として、当該基準方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する指標値を算出するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間において作業の訓練を行う技術に関する。
【背景技術】
【０００２】
ＶＲ（virtual reality）を利用して訓練を行う技術が知られている。例えば特許文献１には、自転車運転シミュレータにおいて、被験者が模擬自転車の運転を開始してから終了するまでの間に後方を確認した時間を、評価データとして算出することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９７１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＶＲを利用して、訓練者が特定の作業の訓練を行う場合がある。このような訓練では、訓練者は作業の対象だけを注視する傾向にある。しかし、特定の作業が警備や災害対処、救助活動などの危険を伴う作業である場合、訓練者の周囲では、作業中に警戒すべき事象（不審者の接近や火災の発生など）が発生する可能性があるため、ある程度の頻度で周囲の状況を確認した方が好ましい。特許文献１に記載の技術では、特定の方向を確認した時間が評価データとして算出されるが、この評価データからは、特定の方向を確認したことしか認識できず、周囲を確認したかは認識できないため、周囲を確認する行動を評価することができない。
本発明は、仮想空間において行われる作業の訓練において、訓練者の周囲を確認する行動を評価することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、仮想空間において作業の訓練を行う訓練者の行動を評価する訓練システムであって、前記仮想空間における前記訓練者の位置からの視野画像を記憶する記憶部と、実空間における前記訓練者の視野方向を検出する検出部と、前記視野方向に基づいて前記仮想空間における前記訓練者の視野を特定する特定部と、前記視野画像のうち前記視野に含まれる部分を表示する表示部と、前記仮想空間における前記訓練者の位置から前記作業の対象に向かう方向を基準方向として、当該基準方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する指標値を算出する算出部とを備える訓練システムを提供する。
【０００６】
前記算出部は、前記変化量が大きい程、前記指標値を増加させてもよい。
【０００７】
前記算出部は、前記視線方向が前記基準方向から複数回変化したことに応じて得られる複数の変化量により前記視線方向が偏っていることが示される場合には、前記複数の変化量のうち少なくとも１つを前記指標値に反映しなくてもよい。
【０００８】
前記算出部は、前記変化量が閾値より大きい状態が第１の所定時間以上継続した場合には、前記指標値を減少させてもよい。
【０００９】
前記算出部は、前記変化量が閾値以下である状態が第２の所定時間以上継続した場合には、前記指標値を減少させてもよい。
【００１０】
前記算出部は、前記仮想空間において事象が発生したとき、前記位置から前記事象が発生した他の位置へと向かう方向である注目方向と前記視線方向との差が所定量以下になったか否かに応じて、前記指標値を増減させてもよい。
【００１１】
前記算出部は、前記変化量が閾値より大きい状態となる期間に含まれる１の時刻と、前記仮想空間において特定の作業が行われた他の時刻との関係に応じて、前記指標値の増加量に重み付けを行ってもよい。
【００１２】
前記変化量は、前記仮想空間における前記基準方向と前記視線方向とが成す角度であってもよい。
【００１３】
前記変化量は、前記仮想空間における前記基準方向上の１の点と前記視線方向上の他の点とを結んだ線の長さであってもよい。
【００１４】
また、本発明は、仮想空間において作業の訓練を行う訓練者の行動を評価する訓練システムに含まれるコンピュータに、実空間における前記訓練者の視野方向を検出するステップと、前記視野方向に基づいて前記仮想空間における前記訓練者の視野を特定するステップと、記憶部に記憶された視野画像であって前記仮想空間における前記訓練者の位置からの前記視野画像のうち前記視野に含まれる部分を表示するステップと、前記仮想空間における前記訓練者の位置から前記作業の対象に向かう方向を基準方向として、当該基準方向からの前記視野に含まれる視線方向の変化量に基づいて、前記訓練者の周囲を確認する行動を評価する指標値を算出するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００１５】
本発明によれば、仮想空間において行われる作業の訓練において、訓練者の周囲を確認する行動を評価することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る訓練システム１の構成の一例を示す図である。
【図２】表示装置１０のハードウェア構成の一例を示す図である。
【図３】表示装置１０の機能構成の一例を示す図である。
【図４】仮想空間の一例を示す平面図である。
【図５】表示処理の一例を示すフローチャートである。
【図６】表示部１６に表示される動画の一例を示す図である。
【図７】評価処理の一例を示すフローチャートである。
【図８】視線方向Ｄ２の変化の履歴の一例を示す図である。
【発明を実施するための形態】
【００１７】
１．構成
図１は、本実施形態に係る訓練システム１の構成の一例を示す図である。訓練システム１は、ＶＲを利用して、警備、災害対処、救助等といった作業現場の周囲において危険を伴う事象の発生が想定され、作業にあたって周囲の状況を十分に警戒することが求められる各種の作業の訓練を行うために用いられる。訓練システム１は、仮想空間において作業の訓練を行う訓練者の行動を評価する。この「訓練」とは、一定の目標に到達させるための教育活動をいう。訓練では、必ずしも実際に作業を行う必要はない。訓練には、研修や学習も含まれる。訓練システム１は、複数の表示装置１０と、管理装置２０とを備える。複数の表示装置１０と管理装置２０とは、通信回線３０を介して接続されている。通信回線３０は、これらの装置間の通信を伝送する。通信回線３０には、例えばＬＡＮ（Local Area Network）等のプライベートネットワークが用いられてもよい。
【００１８】
図２は、表示装置１０のハードウェア構成の一例を示す図である。表示装置１０は、作業を行う訓練者の視界を模擬した画像を表示することで仮想空間を提供するとともに、訓練者のコンテンツの視聴中における行動を記録して評価する。なお、このコンテンツには、例えば画像と音声とが含まれる。表示装置１０は、訓練者の頭部に装着される。表示装置１０には、例えばヘッドマウント型のウェアラブル端末が用いられてもよい。表示装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と、音出力部１７と、センサ部１８とを備える。これらの構成は、バス１９を介して接続されている。
【００１９】
プロセッサ１１は、プログラムをメモリ１２に読み出して実行することにより、各種の処理を実行する。プロセッサ１１には、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリ１２は、プロセッサ１１により実行されるプログラムを記憶する。メモリ１２には、例えばＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）が用いられてもよい。ストレージ１３は、各種のデータ及びプログラムを記憶する。ストレージ１３には、例えばフラッシュメモリが用いられてもよい。通信部１４は、通信回線３０に接続され、通信回線３０を介してデータ通信を行う。操作部１５は、各種の情報の入力に用いられる。操作部１５には、例えば操作キーが用いられてもよい。表示部１６は、各種の情報を表示する。表示部１６には、例えば液晶ディスプレイが用いられてもよい。音出力部１７は、音声信号を音に変換して出力する。音出力部１７には、例えばスピーカが用いられてもよい。
【００２０】
センサ部１８は、実空間における座標系にて訓練者の頭部の動きを検出する。この動きには、頭部の向きが含まれる。本実施形態では、実空間における訓練者の頭部の向きを実空間における訓練者の視野方向として検出する。センサ部１８には、例えばジャイロスコープ、加速度センサ、及び地磁気センサが含まれてもよい。ジャイロスコープは、訓練者の頭部の角度又は角速度を計測する。加速度センサは、訓練者の頭部の加速度を計測する。地磁気センサは、訓練者の頭部の方位を計測する。
【００２１】
表示部１６では、センサ部１８で検出された頭部の向きに基づいて特定される訓練者の視野に対応する仮想空間の画像を表示する。すなわち、実空間において訓練者が頭部を左右に旋回させることで、訓練者は仮想空間全体を視認することが可能となる。
【００２２】
ストレージ１３には、撮像装置（図示せず）を用いて予め撮影された動画を示す動画データが仮想空間における座標系に関連付けられた情報として予め記憶される。本実施形態においては、仮想空間において訓練者は移動せず定位置から作業を行うこととしているため、仮想空間上での定位置における訓練者の視界を模した動画、すなわち仮想空間における訓練者の位置から見える範囲の動画を示す動画データが記憶される。一方で、訓練者が移動する場合など訓練者の位置が変化する場合には、それぞれの位置に対応する動画を示す動画データが記憶される。また、動画には、訓練の対象となる作業の様子が含まれる。この動画は、フレームと呼ばれる複数のパノラマ画像により構成される。パノラマ画像は、人間の視野よりも広い画角を有する。パノラマ画像の画角は、例えば３６０度であってもよい。動画は、例えば広角レンズを備える単一のビデオカメラを用いて撮影されてもよいし、互いに異なる方向を撮影する複数のビデオカメラを用いて撮影された動画を組み合わせることにより生成されてもよい。また、全天球カメラなどを用いて、上下左右全方位の３６０度のパノラマ画像から動画を構成することで、より現実空間に近い状況で訓練を行うようにしてもよい。
【００２３】
また、仮想空間を構成するパノラマ画像において特定方向として０度の方向を設定することにより、パノラマ画像における−１８０度〜１８０度を規定する。なお、本実施形態では、特定方向として後述の基準方向Ｄ１を用いることとする。
【００２４】
なお、表示装置１０は、訓練者の頭部に装着される筐体と、筐体に取り付けられるスマートフォンとを備えていてもよい。この場合、スマートフォンは、上述したプロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と、音出力部１７と、センサ部１８とを備える。スマートフォンは、筐体が訓練者の頭部に装着されたときに訓練者から表示部１６が見えるような姿勢で、筐体に取り付けられる。
【００２５】
図１に戻り、管理装置２０は、各表示装置１０から訓練者の評価結果を収集して出力する。管理装置２０には、例えば汎用のコンピュータが用いられてもよい。管理装置２０は、上述したプロセッサ１１と、メモリ１２と、ストレージ１３と、通信部１４と、操作部１５と、表示部１６と同様の構成を備えていてもよい。
【００２６】
図３は、表示装置１０の機能構成の一例を示す図である。表示装置１０は、特定部１０１と、算出部１０２と、出力部１０３として機能する。これらの機能は、メモリ１２に記憶されたプログラムと、このプログラムを実行するプロセッサ１１との協働により、プロセッサ１１が演算を行い又は通信部１４による通信を制御することにより実現される。
【００２７】
特定部１０１は、実空間における訓練者の視野方向に基づいて、仮想空間における訓練者の視野を特定する。以下、視野の特定方法の一例について説明する。動画の再生が開始されたときの実空間における訓練者の頭部の向きをパノラマ画像における特定方向として、訓練者の頭部の向き（実空間における座標系）とパノラマ画像における方向（仮想空間における座標系）とを対応付ける。そして、仮想空間における特定方向から時計回りに所定角度（例えば８０度）を成す一端と反時計回りに所定角度（例えば８０度）を成す他端との間の範囲を仮想空間における訓練者の視野として特定する。すなわち、動画の再生が開始されたときの視野は−８０度〜８０度の範囲となり、この視野に対応するパノラマ画像の一部（−８０度〜８０度）が表示部１６に表示される。以降は、センサ部１８で検出された訓練者の頭部の向きの変化に応じて仮想空間における訓練者の現在の視野を特定する。例えば、−８０度〜８０度の範囲を視野として特定している場合において、センサ部１８において訓練者の頭部の向きが反時計回り方向に２０度変化したことが検出されると、特定部１０１はこの検出結果に基づいて、視野全体を反時計回り方向に２０度変化させた−６０度〜１００度の範囲を訓練者の現在の視野として特定する。視野の大きさは、例えば一般的な人の視野の大きさが用いられてもよい。
【００２８】
算出部１０２は、仮想空間における訓練者の位置から、仮想空間において行われる作業の対象に向かう方向を基準方向として、この基準方向からの訓練者の視線方向の変化量に基づいて、訓練者の周囲を確認する行動を評価する指標値を算出する。本実施形態では、特定部１０１で特定された訓練者の視野における中心の方向を仮想空間における訓練者の視線方向とする。すなわち、実空間での訓練者の頭部の向きの変化と仮想空間における視線方向の変化とが連動する。なお、後述するようにアイトラッキング等を用いることにより、訓練者の視線方向をより正確に特定してもよい。また、指標値は、例えば訓練者の周囲を確認する行動の習熟度を示す値である。指標値には、例えば数字が用いられてもよい。この場合、指標値が大きい程、評価が高いことを示してもよい。ただし、指標値は、必ずしも数字に限定されない。例えば指標値は、文字や記号により表現されてもよい。基準方向は、例えば作業を行うときに訓練者が注目しがちな方向であってもよい。作業の対象は、例えば仮想空間に含まれる作業が行われる物であってもよいし、仮想空間に含まれる作業を行う手であってもよい。対象の作業中、訓練者は、自分の周囲をある程度の頻度でまんべんなく確認することが好ましい。指標値は、例えば以下の第１のルールから第６のルールに従って算出されてもよい。
【００２９】
第１のルールは、訓練者が周囲を広く確認する程、評価点を増加させるというルールである。これは、例えば作業中に作業の対象を見ているときの視野から外れた所で警戒すべき事象が発生する場合があるため、訓練者は作業中にできるだけ広く周囲を確認する行動を行った方が好ましいと考えられるためである。訓練者が周囲を広く確認したか否かは、例えば基準方向からの訓練者の視線方向の変化量を用いて判定されてもよい。この変化量には、例えば基準方向と視線方向とが成す角度が用いられてもよい。例えば、この変化量が第１の閾値より大きく第２の閾値未満である場合には、訓練者が周囲を狭く確認したと判定され、第２の閾値以上である場合には、訓練者が周囲を広く確認したと判定されてもよい。これは、変化量が大きいほど、訓練者が多方向の領域を見ており、視認した領域が大きいと考えられるためである。第１の閾値には、例えば訓練者が周囲を確認したとみなせるような変化量の最小値が用いられてもよい。第２の閾値は、第１の閾値よりも大きい値である。第２の閾値には、例えば訓練者が周囲を広く確認したとみなせるような変化量の最小値が用いられてもよい。指標値を増加させる方法としては、例えば指標値に所定値を加算するという方法が用いられてもよい。そして、例えば訓練者が周囲を狭く確認した場合には、第１の所定値が加算され、訓練者が周囲を広く確認したと判定された場合には、第１の所定値よりも大きい第２の所定値が加算されてもよい。
【００３０】
第２のルールは、訓練者が基準方向から視線方向を複数回変化させた場合において、これらの視線方向が偏っている場合には、それらの視線方向の変化のうち少なくとも１つを指標値に反映させないというルールである。これは、例えば訓練者が一定の方向しか確認していない場合には、その方向を向いたときの視野から外れた所で発生した警戒すべき事象を見逃す虞があるためである。視線方向が偏っているか否かは、例えば基準方向からの訓練者の視線方向の変化量を用いて判定されてもよい。例えば訓練者が基準方向から視線方向を変化させたときに得られた変化量と、訓練者が続けて基準方向から視線方向を変化させたときに得られた変化量との差が第１の所定量以下である場合には、視線方向が偏っていると判定されてもよい。この第１の所定量には、例えば概ね同じ領域を確認しているとみなせる視線方向の変化量が用いられてもよい。この場合、例えば視線方向が偏っている複数回の周囲を確認する行動のうち２回目以降の行動については、評価点が加算されなくてもよい。
【００３１】
第３のルールは、訓練者が第１の所定時間以上継続して基準方向Ｄ１を向いていない場合には、指標値を減少させるというルールである。これは、例えば訓練者が長時間にわたって作業の対象を見ていない場合には、作業がおろそかになると考えられるためである。訓練者が基準方向Ｄ１を向いているか否かは、例えば基準方向からの訓練者の視線方向の変化量を用いて判定されてもよい。例えばこの変化量が基準方向Ｄ１を含む所定範囲から外れている場合には、訓練者が基準方向Ｄ１を向いていないと判定されてもよい。この所定範囲には、例えば訓練者が基準方向Ｄ１を向いているとみなせる視線方向の範囲が用いられてもよい。所定範囲の上限及び下限は、例えば第１のルールで用いられた第１の閾値を用いて設定されてもよい。この場合、変化量が所定範囲から外れているということは、変化量が第１の閾値より大きいことを示す。第１の所定時間には、例えば作業がおろそかになる程、訓練者が作業の対象を見ていないと考えられる時間が用いられてもよい。指標値を減少させる方法としては、例えば指標値から所定値を減算するという方法が用いられてもよい。例えば訓練者が第１の所定時間以上継続して基準方向Ｄ１を向いていない場合には、所定値が減算されてもよい。
【００３２】
第４のルールは、訓練者が第２の所定時間以上継続して基準方向Ｄ１を向いている場合には、指標値を減少させるというルールである。これは、例えば訓練者が長時間にわたって周囲を確認する行動を行っていない場合には、作業の対象を見ているときの視野から外れた所で発生した警戒すべき事象を見逃す虞があるためである。訓練者が基準方向Ｄ１を向いているか否かは、上述した第３のルールと同様に、例えば基準方向からの訓練者の視線方向の変化量を用いて判定されてもよい。例えばこの変化量が上述した所定範囲に含まれる場合には、訓練者が基準方向Ｄ１を向いていると判定されてもよい。上述したように、所定範囲の上限及び下限は、例えば第１のルールで用いられた第１の閾値を用いて設定されてもよい。この場合、変化量が所定範囲に含まれるということは、変化量が第１の閾値以下であることを示す。第２の所定時間には、例えば周囲の確認がおろそかになっていると考えられる時間が用いられてもよい。第２の所定時間は、例えば第３のルールで用いられる第１の所定時間よりも短くてもよい。指標値を減少させる方法としては、上述した第３のルールと同様に、例えば指標値から所定値を減算するという方法が用いられてもよい。例えば訓練者が第２の所定時間以上継続して基準方向Ｄ１を向いている場合には、所定値が減算されてもよい。
【００３３】
第５のルールは、仮想空間における事象の発生に応じて、訓練者がその事象の方を向いた場合には、指標値の増加量に重み付けを行う一方、訓練者が事象の方を向いていない場合には、指標値を減少させるというルールである。これは、例えば作業中に警戒すべき事象が発生した場合には、その事象を視認した方が好ましいためである。この事象は、例えば訓練の対象となる作業の妨げになるような事象である。例えば訓練の対象となる作業が警備に関する作業である場合、事象の発生は不審者の出現であってもよい。訓練者がその事象の方を向いたか否かは、例えば基準方向からの訓練者の視線方向の変化量を用いて判定されてもよい。例えば訓練者の位置から事象が発生した他の位置へと向かう方向である注目方向と訓練者の視線方向との差が第２の所定量以下になった場合には、訓練者がその事象の方を向いたと判定されてもよい。この第２の所定量には、例えば訓練者が事象を視認したとみなせる注目方向からの視線方向の差分が用いられてもよい。事象の発生は、例えば事象の発生を示す音を音出力部１７から発することにより訓練者に通知されてもよい。指標値の増加量に重み付けを行う方法としては、例えば第１のルールにより指標値に加算される第１の所定値又は第２の所定値に対して第１の重み係数（＞１）を用いて重み付けを行ってもよい。これにより、第１のルールにより指標値が加算される場合に比べて、指標値の増加幅が大きくなるため、警戒すべき事象を視認した訓練者の評価をより高くすることができる。指標値を減少させる方法としては、例えば上述した第３のルールと同様に、指標値から所定値を減算するという方法が用いられてもよい。また、重み付けを行う代わりに、加点を行うようにしてもよい。
【００３４】
第６のルールは、仮想空間において特定の作業が行われる直前に、訓練者が周囲を確認する行動を行った場合には、指標値の増加量に重み付けを行うというルールである。この特定の作業は、例えばその作業の直前に周囲を確認した方が好ましいと考えられる重要な作業である。例えば訓練の対象となる作業に現金を取り扱う作業が含まれる場合、特定の作業は現金を扱う作業であってもよい。これは、例えば警戒すべき事象が発生していることに気付かずに、重要な作業が行われるのを防ぐためである。訓練者が周囲を確認する行動が仮想空間において特定の作業が行われる直前に行われたか否かは、例えば訓練者が周囲を確認する行動を行った時刻から特定の作業が行われる他の時刻までの時間が第３の所定時間以内であるか否かにより判定されてもよい。第３の所定時間には、例えば特定の作業が行われた直前であるとみなせるような時間が用いられてもよい。特定の作業が行われるタイミングは、例えば動画のストーリーの流れから予測することができる。指標値の増加量に重み付けを行う方法としては、例えば第５のルールと同様に、第１のルールにより指標値に加算される第１の所定値又は第２の所定値に対して重み係数（＞１）を用いて重み付けを行ってもよい。これにより、第１のルールにより指標値が加算される場合に比べて、指標値の増加幅が大きくなるため、周囲の状況に注意を払ってから、重要な作業を行う訓練者の評価をより高くすることができる。
【００３５】
出力部１０３は、算出部１０２が算出した指標値を出力する。この指標値の出力は、例えば管理装置２０に送信することにより実現されてもよい。指標値を出力するタイミングは、例えば動画が終了した後であってもよい。
【００３６】
２．動作
図４は、仮想空間の一例を示す平面図である。この仮想空間では、コンビニエンスストア４０に設置されたＡＴＭ４１（Automated Teller Machine）の障害に対処する作業の訓練が行われる。この作業には、例えば現金の補充及び回収が含まれる。コンビニエンスストア４０には、ＡＴＭ４１の他に、入口４２と、複数の棚４３と、レジスターが置かれたカウンター４４とが設けられている。この仮想空間において、訓練者は、ＡＴＭ４１の正面の基準位置Ｐ１に居る。この基準位置Ｐ１は、予め設定されている。また、この仮想空間には、無効領域４５が設定されている。この無効領域４５は、基準位置Ｐ１とコンビニエンスストア４０の壁との間にある狭い領域であり、仮に不審者が基準位置Ｐ１の方へ移動する場合にも、無効領域４５を通ることはない。そのため、訓練者は無効領域４５を確認する必要がない。
【００３７】
２．１．表示処理
図５は、表示装置１０により実行される表示処理の一例を示すフローチャートである。この表示処理は、例えば表示装置１０に表示の開始を指示する信号が入力されたときに開始される。この信号は、例えば操作部１５を用いた操作により入力されてもよいし、管理装置２０から送信されてもよい。
【００３８】
ステップＳ１１では、表示部１６において、ストレージ１３に記憶された動画データに基づいて、動画の再生が開始される。具体的には、動画データが示す動画に含まれる各パノラマ画像から人間の視野の範囲に対応する画角部分が抽出され、表示部１６に順番に表示される。この動画には、ＡＴＭ４１の障害に対処する作業が行われる様子が含まれる。また、動画には、作業を行う訓練者の手を模した画像が含まれてもよい。
【００３９】
図６は、表示部１６に表示される動画の一例を示す図である。初期状態においては、例えば動画に含まれるパノラマ画像から、訓練者が基準方向Ｄ１を向いたときの視野Ｖ１に対応する部分が抽出されて表示される。この基準方向Ｄ１は、例えば図４に示すように、位置Ｐ１から作業対象に向かう方向である。作業対象は、例えばＡＴＭ４１であってもよいし、ＡＴＭ４１の一部であってもよいし、動画に含まれる訓練者の手を模した画像であってもよい。視野Ｖ１は、例えば視野の大きさを示す角度が左右８０度である場合には、基準位置Ｐ１から基準方向Ｄ１に向かう視線に対して、図４中の時計回りに８０度の角度を成す一端と、図４中の反時計回りに８０度の角度を成す他端との間の範囲である。なお、図４では、説明の便宜上、視野Ｖ１は半径が有限の円弧形状により示されているが、視野Ｖ１は無限に広がっていてもよい。
【００４０】
ステップＳ１２では、センサ部１８において、訓練者の頭部の動きが検出されたか否かが判定される。訓練者が頭を動かしていない場合、訓練者の頭部の動きが検出されないため、ステップＳ１２の判断がＮＯになる。この場合、ステップＳ１２の処理が繰り返される。一方、例えば図４に示すように、訓練者が頭部を図４中の反時計回りに１６０度回転させると、センサ部１８において「反時計回り」という回転方向と「１６０度」という回転角度とが検出される。この場合、ステップＳ１２の判定がＹＥＳになり、ステップＳ１３に進む。
【００４１】
ステップＳ１３では、特定部１０１において、ステップＳ１２において検出された頭部の動きに基づいて、訓練者の視野が特定される。図４に示すように、訓練者が頭部を図４中の反時計回りに１６０度回転させた場合、基準位置Ｐ１を中心に視野Ｖ１が反時計回りに１６０度回転移動される。そして、回転移動後の視野Ｖ２が特定される。
【００４２】
ステップＳ１４では、ステップＳ１３において特定された視野に応じて、表示部１６の表示が変更される。例えば動画に含まれるパノラマ画像から、回転移動後の視野Ｖ２に対応する部分が抽出されて表示される。
【００４３】
ステップＳ１５では、動画が終了したか否かが判定される。動画が最後まで再生されていない場合、ステップＳ１５の判定がＮＯになり、処理はステップＳ１２に戻る。一方、例えば動画が最後まで再生された場合には、ステップＳ１５の判定がＹＥＳになり、処理が終了する。
【００４４】
２．２．評価処理
図７は、表示装置１０により実行される評価処理の一例を示すフローチャートである。この評価処理は、例えば動画の再生中に開始されてもよいし、動画が終了した後に開始されてもよい。
【００４５】
ステップＳ２１では、上述したステップＳ１３において特定された視野に基づいて、基準方向Ｄ１からの訓練者の視線方向Ｄ２の変化の履歴がコンテンツの視聴中の行動としてストレージ１３に記憶される。この視線方向Ｄ２は、例えば図４に示すように、基準位置Ｐ１から視野の中心に向かう方向である。ストレージ１３には、例えば所定の時間間隔で基準方向Ｄ１と視線方向Ｄ２とが成す視線の回転角度が記憶される。
【００４６】
図８は、視線方向Ｄ２の変化の履歴の一例を示す図である。図中の縦軸は視線の回転角度を示し、横軸は時間を示す。図４に示すように、訓練者が基準方向Ｄ１を向いている場合、基準方向Ｄ１と視線方向Ｄ２が一致するため、回転角度は０度になる。訓練者が図４中の反時計回りに頭部を回転させた場合、回転角度は正の値を有する。一方、訓練者が図４中の時計回りに頭部を回転させた場合、回転角度は負の値を有する。回転角度は、−１８０度から１８０度までの値を取る。また、−４５度から−９０度までの回転角度の範囲は、図４に示す無効領域４５に対応する無効範囲Ｒ１に設定されている。
【００４７】
ステップＳ２２では、算出部１０２において、ストレージ１３に記憶された視線方向Ｄ２の変化の履歴に基づいて、訓練者の周囲を確認する行動を評価する指標値が算出される。ここでは、第１のルールにおいて用いられる第１の閾値は３０度であり、第２の閾値は４５度であるものとする。また、第２のルールにおいて用いられる第１の所定量は、１５度であるものとする。さらに、第３のルールにおいて用いられる所定範囲は、０度からプラスマイナス３０度の範囲であり、第１の所定時間は１０秒であるものとする。さらに、第４のルールにおいて用いられる所定範囲は、０度からプラスマイナス３０度の範囲であり、第２の所定時間は３０秒であるものとする。さらに、第５のルールにおいて用いられる第２の所定量は１５度であり、第１の重み係数は１．５であるものとする。さらに、第６のルールにおいて用いられる第３の所定時間は５秒であり、第２の重み係数は２であるものとする。
【００４８】
図８に示す例では、時刻ｔ１において回転角度は極値を取る。この極値は１６０度であり、第１のルールの第２の閾値である４５度以上である。これは、訓練者が周囲を広く確認したことを示すため、第１のルールにより評価点に２点が加算される。
【００４９】
時刻ｔ２を含む期間Ｔ１１において、回転角度は第４のルールの所定範囲であるプラスマイナス３０度の範囲に収まっている。また、期間Ｔ１１は、第４のルールの第２の所定時間である３０秒以上である。これは、訓練者が第２の所定時間以上継続して基準方向Ｄ１を向いていることを示すため、第４のルールにより評価点から１点が減算される。
【００５０】
時刻ｔ３において回転角度は極値を取る。この極値は−１１０度であり、その絶対値は第１のルールの第２の閾値である４５度以上である。これは、訓練者が周囲を広く確認したことを示す。また、時刻ｔ３では、基準位置Ｐ１を中心に、基準方向Ｄ１上の位置から−１００度回転移動した位置に不審者Ｓ１が出現する。この不審者Ｓ１の出現は、例えば時刻ｔ３に足音等の不審者Ｓ１の出現を示す音を音出力部１７から発することにより訓練者に通知される。この場合、基準位置Ｐ１から不審者Ｓ１の位置に向かう方向が注目方向となる。時刻ｔ３の極値は−１１０度であり、基準方向Ｄ１と注目方向とが成す注目角度は−１００度である。これらの差分は１０度であり、第５のルールの第２の所定量である１５度以内である。これは、不審者Ｓ１の出現に応じて訓練者が不審者Ｓ１の方を向いていることを示す。この場合、第１のルールにより評価点に加算される２点に対して、第５のルールにより第１の重み係数である１．５を用いて重み付けが行われる。これにより、２点×１．５＝３点が評価点に加算される。
【００５１】
時刻ｔ４では、基準位置Ｐ１を中心に、基準方向Ｄ１上の位置から９０度回転移動した位置に、不審者Ｓ２が出現する。この不審者Ｓ２の出現は、上述した時刻ｔ３における不審者Ｓ１の出現と同様に、例えば時刻ｔ４に足音等の不審者Ｓ２の出現を示す音を音出力部１７から発することにより訓練者に通知される。この場合、基準位置Ｐ１から不審者Ｓ２の位置に向かう方向が注目方向となる。しかし、時刻ｔ４の回転角度は−５度であり、基準方向Ｄ１と注目方向とが成す注目角度は９０度である。これらの差分は９５度であり、第５のルールの第２の所定量である１５度より大きい。これは、不審者Ｓ２の出現に応じて訓練者が不審者Ｓ２の方を向いていないことを示すため、第５のルールにより評価点から１点が減算される。
【００５２】
時刻ｔ５において回転角度は極値を取る。この極値は−６０度であり、その絶対値は第１のルールの第２の閾値である４５度以上である。しかし、この極値は、無効範囲Ｒ１に含まれる。これは、訓練者が無効領域４５を確認していることを示すため、評価点は加算されない。
【００５３】
時刻ｔ６を含む期間Ｔ１２において、回転角度は０度を含まず連続して３０度より大きくなっており、第３のルールの所定範囲である０度からプラスマイナス３０度の範囲から外れている。また、期間Ｔ１２は、第３のルールの第１の所定時間である１０秒以上である。これは、訓練者が第１の所定時間以上継続して基準方向Ｄ１を向いていないことを示すため、第３のルールにより、評価点から１点が減算される。
【００５４】
時刻ｔ７において回転角度は極値を取る。この極値は４０度であり、第１のルールの第１の閾値である３０度より大きく、第２の閾値である４５度未満である。また、時刻ｔ７より後の時刻ｔ８には、現金を取り出す作業が行われる。時刻ｔ７から時刻ｔ８までの時間Ｔ１３は、第６のルールの第３の所定時間である５秒以内である。これは、現金を取り出す作業が行われる直前に訓練者が周囲を確認する行動を行ったことを示す。この場合、第１のルールにより評価点に加算される１点に対して、第６のルールにより第２の重み係数である２を用いて重み付けが行われる。これにより、１点×２＝２点が評価点に加算される。
【００５５】
時刻ｔ９において回転角度は極値を取る。この極値は４２度であり、第１のルールの第１の閾値である３０度より大きく、第２の閾値である４５度未満である。しかし、時刻ｔ７の極値と時刻ｔ９の極値とは、いずれも正の値を有し、これらの極値の間に負の値を有する極値が存在しない。また、時刻ｔ７の極値である４０度と時刻ｔ９の極値である４２度との差は２度であり、第２のルールの第１の所定量である１５度以内である。これは、訓練者が基準方向から視線方向Ｄ２を複数回変化させているが、視線方向Ｄ２が偏っていることを示す。この場合、訓練者が時刻ｔ９に行った周囲を確認する行動については、第２のルールにより評価点は加算されない。
【００５６】
ステップＳ２３では、出力部１０３において、ステップＳ２２において算出された指標値が出力される。例えば算出された指標値が一旦ストレージ１３に記憶され、動画が終了した後に、訓練者のＩＤ（identification）とともにストレージ１３に記憶された指標値が出力部１０３から管理装置２０に送信される。管理装置２０は、例えば訓練者毎に指標値を表示する。
【００５７】
なお、上述した実施形態では、「センサ部１８」、「ストレージ１３」、「動画データ」、「第１の閾値」、「所定量」が、それぞれ本発明に係る「検出部」、「記憶部」、「視野画像」、「閾値」、「第２の所定量」として用いられている。
【００５８】
上述した実施形態によれば、訓練者の周囲を確認する行動に応じて評価点が算出されるため、この行動を評価することができる。また、評価点が出力されるため、例えば訓練者の教官が訓練者の周囲を確認する行動の習熟度を客観的に把握することができる。さらに、視線方向の変化量が大きい程、指標値が増加するため、訓練者が周囲を広く確認する程、その訓練者をより高く評価することができる。さらに、視線方向が偏っている場合には指標値が加算されないため、訓練者が一定の方向しか確認していないときに、その訓練者の評価が高くなることを防ぐことができる。さらに、訓練者が第１の所定時間以上継続して基準方向Ｄ１を向いていない場合には指標値が減少するため、訓練者が長時間にわたって作業の対象を見ていない場合には、訓練者の評価を下げることができる。さらに、訓練者が第２の所定時間以上継続して基準方向Ｄ１を向いている場合には指標値が減少するため、訓練者が長時間にわたって周囲を確認する行動を行っていない場合には、その訓練者の評価を下げることができる。さらに、仮想空間における事象の発生に応じて、訓練者がその事象の方を向いていない場合には指標値が減少するため、訓練者が事象を視認していない場合には、その訓練者の評価を下げることができる。さらに、仮想空間において特定の作業が行われる直前に、訓練者が周囲を確認する行動を行った場合には指標値の増加量に重み付けが行われるため、このような行動を行った訓練者を他の訓練者の評価よりも高く評価することができる。
【００５９】
３．変形例
本発明は上述した実施形態に限定されない。上述した実施形態に対し、種々の変形がなされてもよい。また、以下の変形例が組み合わせて実施されてもよい。
【００６０】
上述した実施形態において、訓練者の視線方向の変化量は、仮想空間における視線の回転角度に限定されない。例えば、この変化量は、仮想空間における基準方向上の点と視線方向上の点とを結んだ線により描かれる軌跡の長さであってもよい。この場合、軌跡の長さが大きい程、変化量が大きいことを示す。他の例において、この変化量は、視線方向の変化の履歴を表す曲線と時間軸上の区間とで囲まれる面積であってもよい。この場合、面積が大きい程、変化量が大きいことを示す。
【００６１】
上述した実施形態において、基準方向からの訓練者の視線方向の変化量は、二次元方向の変化量に限定されない。例えば三次元方向の変化量が用いられてもよい。この場合、変化量として、上述した軌跡の長さが用いられてもよい。また、変化量が視線の回転角度である場合には、基準方向と視線方向とが成す水平方向及び垂直方向の角度が用いられてもよい。
【００６２】
上述した実施形態において、指標値を算出するルールは、上述した第１のルールから第６のルールに限定されない。また、第１のルールから第６のルールが全て用いられなくてもよい。例えば第６のルールだけを用いて指標値が算出されてもよい。
【００６３】
上述した第１のルールにおいて、視線方向の変化量に応じて指標値を増加させる方法は、実施形態において説明した方法に限定されない。例えば、３以上の閾値を用いて指標値が段階的に増加してもよい。また、視線方向の変化量が増加するにつれて、指標値が徐々に増加してもよい。すなわち、視線方向の変化量が大きい程、指標値が増加すればよい。なお、三次元方向の変化量を用いる場合、水平方向に関しては実施形態と同様に、第１の閾値では３０度、第２の閾値では４５度として、垂直方向に関しては、いずれの閾値においても３０度以内であることを条件とすればよい。ここで、垂直方向において、３０度以内としたのは、ＡＴＭ４１の作業中に訓練者の上方あるいは下方から危険が迫ることは基本的には想定されず、訓練者とほぼ同等の高さで周囲を確認することが望まれるからである。なお、災害対処などの落下物が想定される作業の訓練を行う場合などには、垂直方向に関しては、９０度以内とするなど作業の特性に応じて閾値を設定することが好適である。
【００６４】
上述した第２のルールにおいて、視線方向が偏っているか否かを判定する方法は、実施形態において説明した方法に限定されない。例えば回転角度の極値の散布度に基づいて、視線方向が偏っているか否かが判定されてもよい。この散布度とは、ちらばりの度合いを示す値である。散布度には、例えば分散が含まれる。図８に示す例において極値の分布を見たときに、例えば極値の散布度が所定度以下である場合には、視線方向が偏っていると判定されてもよい。また、視線方向が偏っている場合、全ての視線方向の変化を指標値に反映させて、後から指標値が減少されてもよい。なお、三次元方向の変化量を用いる場合、垂直方向に関しては例えば１５度を第１の所定量として用いる。
【００６５】
上述した第３のルールにおいて、訓練者が第１の所定時間内に基準方向Ｄ１を向いた場合であっても、基準方向Ｄ１を向いている時間が最小時間未満である場合には、指標値を減少させてもよい。この所定時間には、例えば作業に注意を払っているとみなせるような時間が用いられてもよい。ここでは、最小時間は２秒であるものとする。例えば第１の所定時間内に回転角度に正の極値と負の極値とが含まれる場合であっても、回転角度が第１のルールの所定範囲である０度からプラスマイナス３０度の範囲に継続して収まっている時間が最小時間である２秒未満である場合には、指標値が減少されてもよい。また、例えば所定頻度で基準方向Ｄ１を向いていない場合には、指標値を減少させてもよい。例えば所定期間内に所定時間以上継続して基準方向Ｄ１を向いている場合には、所定頻度で基準方向Ｄ１を向いていると判定されてもよい。この所定期間は例えば３０秒であり、所定時間は例えば２０秒であってもよい。なお、三次元方向の変化量を用いる場合、垂直方向に関しては例えば０度からプラスマイナス３０度を所定範囲として用いる。
【００６６】
上述した第４のルールにおいて、訓練者が第２の所定時間以上継続して基準方向Ｄ１を向いている場合には、周囲確認が不十分であるとして、訓練を強制的に終了するようにしてもよい。
【００６７】
上述した第５のルールにおいて、仮想空間において発生する事象は、不審者の出現に限定されない。例えばこの事象は、コンビニエンスストア４０の入口４２から人が入店したことであってもよい。この入店は、例えば入店を示す音を音出力部１７から発することにより訓練者に通知されてもよい。この場合、例えば基準位置Ｐ１から入口４２に向かう方向が注目方向として用いられてもよい。また、例えば基準位置Ｐ１から見て事象が発生した位置から到来する音を音出力部１７から出力してもよい。この場合、複数の音出力部１７を用いて互いに異なる複数の方向から音が到来するマルチチャンネル音響が用いられてもよい。これにより、訓練者は、音を聞くことにより、事象が発生した位置を推定することができる。なお、三次元方向の変化量を用いる場合、垂直方向に関しては例えば３０度を第２の所定量として用いる。また、事象が発生したとき、注目方向と視線方向との差が第２の所定量以下にならない場合、周囲確認が不十分であるとして、訓練を強制的に終了するようにしてもよい。
【００６８】
上述した第６のルールにおいて、仮想空間において特定の作業が行われる時刻と、訓練者が周囲を確認する行動を行った時刻との関係は、上述した実施形態の例に限定されない。例えば作業の内容によっては、特定の作業が行われた直後に、訓練者が周囲を確認する行動を行った方が好ましい場合がある。この場合には、仮想空間において特定の作業が行われた直後に、訓練者が周囲を確認する行動を行った場合には、指標値の増加量に重み付けが行われてもよい。すなわち、訓練者が周囲を確認する行動を行った１の時刻と、仮想空間において特定の作業が行われた他の時刻との関係に応じて、指標値の増加量に重み付けが行われればよい。
【００６９】
上述した実施形態において、視線方向の変化量に加えて訓練者の頭部が移動する速度又は加速度に基づいて、指標値が算出されてもよい。例えばセンサ部１８が検出した速度又は加速度が所定度以上である場合には、指標値が加算されなくてもよい。これは、訓練者が素早く頭部を回転移動させた場合には、訓練者が周囲を確認しているとは言い難いためである。
【００７０】
上述した実施形態において、訓練者は移動しないことを前提として説明したがこれに限定されない。例えば、仮想空間を示す映像の時間経過に応じて訓練者の位置が自動的に変化するようにしてもよい。この場合、各時刻の訓練者の位置と各時刻における訓練者の視界を模した映像（動画）とが対応付けられてストレージ１３に予め記憶される。また、実世界での訓練者の歩行等の動作と仮想空間上での訓練者の移動とを連動させることにより仮想空間での移動を実現してもよい。例えば、表示装置１０は、センサ部１８で検出されたセンサ情報を用いて表示装置１０の位置を決定し、この位置に基づいて仮想空間上での訓練者の位置を決定するようにすればよい。この場合、訓練者の移動に応じて映像を配信するため、仮想空間の各位置における訓練者の視界を模した映像がストレージ１３に予め記憶される。なお、仮想空間における訓練者の位置を決定する方法はこれに限らず、他の公知の技術を用いることができる。
【００７１】
上述した実施形態において、訓練者の視線方向は、基準位置Ｐ１から訓練者の視野の中心に向かう方向に限定されない。例えば表示装置１０は、周知のアイトラッキング技術を用いて訓練者の視線を検出し、検出した視線の方向を視線方向として用いてもよい。これにより訓練者が頭部の向きを変えずに視線を変えて周囲に注意を払う行動についても評価の対象となり、より実践的な訓練が行える。
【００７２】
上述した実施形態において、周知のモーションキャプチャ技術を用いて訓練者の動作を検出してもよい。この場合、訓練者は、例えば特定の作業を行う動作をしてもよい。この場合、例えば上述した第６のルールにおいて、この動作が検出された時刻が、特定の作業が行われた時刻として用いられてもよい。
【００７３】
上述した実施形態において、無効領域４５は、不審者が基準位置Ｐ１へと移動するときに通らない領域に限定されない。例えば複数人でＡＴＭ４１の障害の対処を行う場合には、他の人が居る領域又は他の人が周囲の確認を分担する領域が無効領域４５に設定されてもよい。なお、確認が不要な領域が存在しない場合など、無効領域４５は必ずしも設定しなくてもよい。
【００７４】
上述した実施形態において、表示部１６は、画像を投影する装置であってもよい。例えば表示部１６には、プロジェクター等の投射部及び画像が表示される表示面が用いられてもよいし、網膜に直接画像を投射する投射部が用いられてもよい。
【００７５】
上述した実施形態において、動画データは管理装置２０から表示装置１０に送信されてもよい。この場合、例えば管理装置２０からインターネット等の広域ネットワークを介して互いに異なる場所で使用される複数の表示装置１０に動画データが配信されてもよい。
【００７６】
上述した実施形態において、動画のコンテンツは、ＡＴＭ４１の障害に対処する作業の訓練に用いられるものに限定されない。動画のコンテンツは、訓練者が周囲を確認する行動が必要となる作業の訓練に用いられるものであれば、どのようなコンテンツでもよい。
【００７７】
上述した実施形態において、管理装置２０は必ずしも設けられなくてもよい。例えば表示装置１０が単体で用いられてもよい。この場合、指標値は、例えば表示部１６に表示されてもよい。
【００７８】
上述した実施形態において、訓練システム１は、ＶＲを利用した訓練だけでなく、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）を利用した訓練に用いられてもよい。
【００７９】
上述した実施形態において、訓練システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。本発明は訓練システム１において行われる処理のステップを備える方法として提供されてもよい。
【００８０】
本発明は、表示装置１０又は管理装置２０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
【００８１】
本明細書で使用する「第１」、「第２」、「第３」という記載は、それを使用した要素の量又は順序を限定するものではない。これらの記載は、２つ以上の要素を区別するために使用されており、例えば数字を入れ替えて用いられてもよい。また、各閾値などの数値は一例であり、作業の特性等に応じて異なる値が用いられてもよい。
【符号の説明】
【００８２】
１：訓練システム、１０：表示装置、１１：プロセッサ、１２：メモリ、１３：ストレージ、１４：通信部、１５：操作部、１６：表示部、１７：音出力部、１８：センサ部、１０１：特定部、１０２：算出部、１０３：出力部
【図１】
2020052281.tif 000003
【図２】
2020052281.tif 000004
【図３】
2020052281.tif 000005
【図４】
2020052281.tif 000006
【図５】
2020052281.tif 000007
【図６】
2020052281.tif 000008
【図７】
2020052281.tif 000009
【図８】
2020052281.tif 000010