北海道地区

教育システム情報学会 2020年度学生研究発表会

テレプレゼンス技術を導入したハイブリッド型学生実験手法の開発－A．テレプレゼンスのためのユーザーインターフェースと遠隔計測方法の検討－

Development of Hybrid Student Experiment Method based on Introduces
Telepresence Technology- A. Investigation of User Interface and Telemetry Methods for Telepresence 島貫 慎戸郁*1, 岡部 文哉*1, 千田 和範*1
Shinpei SHIMANUKI*1, Fumiya OKABE*1, Kazunori CHIDA*1*1
釧路工業高等専門学校*1
National Institute of Technology, Kushiro College
Email: p160105@kushiro.kosen-ac.jp
あらまし：近年コロナウィルス感染症により対面を避けられる遠隔化が進んでいる.教育の場でも遠隔化が進んでいるが,実験実習を伴う学生実験では機器の操作，各種測定方法などを実機の操作から学ぶことになるため，WEB 会議システムを用いた遠隔化だけでは対応することが非常に難しい．
そこで本研究ではペアプログラミングを発展させ，遠隔地にいるナビゲータと実験室にいるドライバーが協同で実験を行うために必要なテレプレゼンス技術，特に遠隔地のナビゲータに対する計測技術の検討を行う．
キーワード：ハイブリッド型遠隔実験，ペアプログラミング，テレプレゼンス，IoT，協働学習

1.

実験室側

はじめに最近，コロナウィルス感染症のため教育現場において遠隔化が進んでいる．様々な大学や高専が WEB会議システムなどを用いたオンライン授業での対応を行っている(1)．一方，学生実験，特に大型装置の特性試験では機器の操作方法，各種計測方法などの取得も求められるため，WEB 会議システムだけでは対応することが困難となる．2021 年度当初の様に状況が改善するまで実験を延期すると授業実施日等の問題がおこり，現在の様に実験中でも３密とならないように求められていると実験が長時間かかる問題が起こるため．すみやかな対応が求められつつある．
ここで学生実験の目的から，すべての人が遠隔地から実験に参加するのではなく学校に近い人は実験室で作業を行い，来校できない学生または３密を避ける場合は遠隔地や別室から実験に参加するハイブリッド型学生実験の実現を検討する．ただしこの方法では実験室側と遠隔地側からこれまで通りの実験を行うことは難しい．そこで，ペアプログラミングの手法を基に，遠隔地側の学生をナビゲータ，実験室側の学生をドライバーとして実験を行うことを検討する．この時，テレプレゼンス技術を用いることでナビゲータ側の説明を効果的に行うことを考える．
以上の内容を基に本研究では，テレプレゼンス技術を導入したハイブリッド型学生実験手法を提案する．その中で，特にテレプレゼンス技術を用いてナビゲータの作業を実験室側に効果的に伝えるため必要な計測方法やユーザインターフェースを検討する．

2.

ハイブリッド型学生実験

2.1 学生実験の実験環境
今回扱う実験環境は図１で示す比較的大きな実験

17

ドライバーの担当学生

遠隔側／別室側
スマートグラス

配線を確認して手引書

配線を確認してカメラナビゲータ

テレプレゼンスロボット（カメラ搭載）図 1 想定している実験環境

対象の特性計測を行うとする．以前の実験では，学生はグループで分担を決め，指導書に従って結線，計測，記録を行っている．
2.2 ハイブリッド型学生実験の概要
本研究で示すハイブリッド型学生実験は，遠隔側と実験室側の学生が協働して実験を行うものとする．
しかし，遠隔側と実験室側で同様の作業はできない
ため，ペアプログラミングを元に，遠隔側をナビゲータ，実験室側の参加者をドライバーとして作業してもらう．
ナビゲータの役割は，実験指導書を元に実験理論の簡単な説明，結線の指示，測定箇所の指示，実験中の安全確認などを行ってもらう．ドライバーはナビ
ゲータの指示に従いながら実験を行っていく．ただし，図１からも分かるようにドライバーの学生は実験装置を見ながら作業しなければならないため，WEB 会議システムを用いた講義のようにモニタ画面を見ながら作業することはとても難しい．またナ
ビゲータ用カメラの設置場所も問題となる．そこでドライバーと実験装置を見ることが出来る位置に，ハイブリッド型学生実験用のテレプレゼンスロボッ
ト(2)を配置し，それを通して指示することとした．

北海道地区yx 顔正面

教育システム情報学会 2020年度学生研究発表会

micro:bit付スマートグラスFirebase
角度，方向角度，方向

スマートフォン

ドライバー
ロボット

micro:bit

スマートグラス

動画・音声

ナビゲータ

指示用ポインター

ナビゲータ側インタフェース

実験装置

図 2 ナビゲータ側ユーザインターフェース

図 3 ハイブリッド型学生実験の様子

2.3 ナビゲータ用ユーザインターフェースと姿勢計

表１ アンケート結果
定点ではなく見たいところを見るところができるのが Pcに比べてよかった。
実験に参加している感覚は思っていたよりあった。
改善できそうな点として指示ライトでもう少し細かくさすとことができればよかった。
遅延さえどうにかなれば最強だと思う

測方法
2.3.1 実験環境の映像と音声の扱い
ナビゲータがテレプレゼンスロボットを通してドライバーに指示を出す場合，まずは実験室の状況をドライバーが確認できなければならない．ただし学校ではセキュリティの問題で動画の送信ができない場合がある．一方，Zoom や Teams などの WEB 会議
アプリが学内で使用できるため，実験室の映像取得については WEB 会議アプリで行う．そのため，実験室側のロボットにはスマートフォンを取り付け，その動画や音声をスマートグラスにて映すものとした．ここでは EPSON 社製 BT-350 を用いている．この方法によりナビゲータは実験室にいるような高い臨場感を持つことができると考えられる．
2.3.2 テレプレゼンスロボットの姿勢制御のためのナビゲータ計測情報
次にテレプレゼンスロボットの操作では，任意の対象を映すこととドライバーが判断しやすいようにポインタで指すことが必要になる．しかし，操作法の説明や操作の慣れが必要なものではなく直感的に操作できる必要がある．ここでは顔の向きを姿勢制御のためのデータとして活用することを考える．
方向と角度の計測には，イギリス BBC によって開発された micro:bit で使うことができる方位センサと傾斜センサを用いた．この方位センサは北を起点とし CW 方向で 360°計測することができる．制御情報としての方向値は初期位置からの相対角度を用いている．顔の上下方向は水平 0°としたｘ軸周りの角度を傾斜センサにより求めている．これらのセン
サ計測は周期 0.2sec 毎に行っている．なお得られたセンサデータは変動が大きいため，5 点の移動平均を用いて平滑化している．
2.3.3 ドライバーへの指示のためのポインタ制御
ドライバーに作業指示を出す場合，声だけで理解してもらうのは難しいと考えられる．そこで，赤色LED 型ポインタを用いて希望の場所を示す．実際にポインタを用いる場合，視線と指す場所は一致している．そこで，ポインタ制御は電源の ON/OFF をスイッチデバイスによって行う．ON 時にはロボットの顔の向いている方向を示す様にロボットの腕を動かすものとする．

2.3.4 Firebase を用いた各種計測情報の蓄積装置間で遠隔制御を行う場合に重要になるのがネットワークの作り方となる．ここで遠隔側と実験室側の環境の間でネットワークを直結すると，TCP/IP通信のプログラムが必要となるため難易度が高くなる．そこでこのシステムでは google 社製 Firebase のRealtimeDatabase を介して計測値を送受信することでネットワークを簡単に実現する．この方法によって遠隔側，実験室側ともに Firebase の書込，読込 API
を使うだけで簡単に測定値の送受信が実現できる．

3.

ハイブリッド型学生実験の動作検証

4.

まとめ

図 3 はナビゲータ，ドライバー側を連携させての実験ができるかを確認した様子である．動作検証は本校５年の２名に行ってもらった．想定していた様に若干の遅延はあるが，ナビゲータの姿勢に連動したテレプレゼンスロボットの動作を確認できた．また表１のアンケートより有効性が確認できた．

本研究ではコロナ禍などの様な状況に対応するためのハイブリッド型学生実験手法を提案した．ここでは特にナビゲータ側の計測用ユーザインターフェースと計測手法について検討した．またナビゲータ側の測定結果から実験室側のテレプレゼンスロボットを制御できることも確認できた．
今後はナビゲータがドライバーを指導するための手法について検討していくことを考えている．
参考文献(1) 文部科学省:“今後の国立大学法人等施設の整備充実に関する調査研究協力者会議（第 5 回）”, 資料 2-1,
https://www.mext.go.jp/content/20200924-mxt_keikaku-0
00010097_3.pdf （2021/02/04 確認）(2) 岡部文哉 他:“テレプレゼンス技術を導入したハイブリッド型学生実験手法の開発”, 教育情報システム学会,学生発表会予稿集(掲載予定) （2021）

18