SP-10

遠隔合同授業における見取りを支援する自動俯瞰撮影装置の検討
Examination of Auto Overhead Shooting Device
for Observational Evaluation in Joint Remote Classroom
森 雅史, 岡本 竜，三好 康夫
Masafumi MORI, Ryo OKAMOTO, Yasuo MIYOSHI
高知大学 理工学部
Faculty of Science and Technology, Kochi University
Email: masamori@is.kochi-u.ac.jp
あらまし：オンラインを通じた遠隔合同授業では，授業者による生徒の見取りが困難であることが知られている．そのためには授業者の要望に応じた状況確認ができることが望ましいが，導入設備や運営コストの問題などから実現は難しい．そこで，本研究では，遠隔教室の様子を授業者の要求に応じて俯瞰的に撮影する方法を提案している．本発表では，著者らが提案する俯瞰撮影装置の自律移動を実現するための実装技術の検証と考察について述べる．
キーワード： 遠隔合同授業，見取り，俯瞰撮影，自律移動，人物検出，バルーン型ドローン

1.

はじめに

高知県の中山間地域にある県立高等学校では，過疎化の影響により，全 36 校のうち 3 分の 1 にあたる13 校が，生徒数が１学年１クラス 20 名以上を条件として，特例により維持される小規模校になることが予想されている．県教育委員会は，遠隔合同授業の導入を存続の条件として，これまで試行期間を含めて 6 年間に渡って実施されている．
実施を統括する検討会議では，授業者と遠隔教室間のコミュニケーション問題が議論されており，特に対面授業に比較した「授業者による見取りの難しさ」が指摘されている．見取りに関する状況を分析したところ，多くの場合１台の固定カメラのみで生徒の様子を撮影する方式に起因することが分かった．
そこで，本研究では既に導入済みの設備に追加することで，情報伝達の不足を補完することを目的として，任意の位置から必要な対象を撮影する装置の開発を進めている．本稿では，本研究が提案する俯瞰撮影のためのバルーン型ドローンによる，見取りのための自動制御方式の提案と試作について述べる．

2.

遠隔教室における生徒の見取り

対面授業においては，授業者は生徒の顔色や仕草などから得られる非言語情報(1)を活用して，臨機応変なコミュニケーションを行なっている．遠隔合同
授業では，授業者は遠隔教室にいる生徒の様子を正面から捉えた１台の固定カメラのみで確認することが多く，対面授業と同等の情報を得ることは難しい．
遠隔合同授業における授業者による生徒の見取りには，以下の３つの点において問題がある．
(1) 全ての生徒を写すことができない
複数列で生徒が着席している場合，正面からの撮影に限定されているため，前列の影になって後列の生徒の表情などが分かり難い場合がある．

(2) 生徒の手元を撮影できない
対面授業で頻繁に行われる机間巡視では，生徒の手元を覗き込むなどして状態を確認することも多い．
しかし，正面からの水平方向によるアングルでは，物理的に撮影は不可能である．
(3) 移動する生徒を追跡できない
遠隔合同授業では，生徒を指名して電子黒板を使って解答させることが多い．この場合，指名された生徒の様子を授業者に伝える手段が用意されておらず，授業者側には他の生徒の様子のみが伝えられる．
これら３つの問題は，ともに撮影対象と撮影装置の位置関係に起因しており，基本的に任意に移動可能な撮影装置の導入により解決できる．したがって，
本研究では，任意の位置に移動して俯瞰撮影を行うための，ヘリウムガスの浮力を利用したバルーン型ドローンの提案と試作(2)を行っている．
本装置は授業者に煩雑な操作を強いることなく，授業者の要求に応じた撮影を行うことを目的としている．したがって，本研究では授業者による最低限の操作により自律的に移動・撮影を行う撮影装置の実現を目指している．

3.

俯瞰自動撮影装置の制御方式

著者らが提案する俯瞰撮影装置は，空中を任意の位置まで移動し，天井に位置して下方を撮影することができる．本研究では，前章で述べた問題を解決するため，撮影目的や対象を指定し，それに応じた適切な撮影ポジションに自律的に移動させる制御方
式を以下に示す４段階の過程として定義した．
(1) 対象人物の検出
ドローンは初期位置から教室内の撮影を行い，その画像に対して人物検出を行う．これより人物の範囲を示す矩形座標と検出の根拠となる信頼度を得る．

― 325 ―

教育システム情報学会 JSiSE2021
第46回全国大会
2021/9/1-9/3(2) 機体と対象との距離・角度算出
過程(1)で得られた座標から矩形の中心座標を求め，その値を用いて撮影時点における機体と人物との角度を算出する．また画像における矩形の範囲内から人物までの距離を推定する．
(3) 対象の移動検出検出した矩形の範囲を追跡対象として物体追跡アルゴリズムを実行する．機体の移動に応じて対象との位置関係が変化するため，それに合わせた追跡領域の変化を予測して実際の追跡状況との差分を確認する．差分が大きくなった場合は対象が移動していると判断する．
(4) 対象までの機体の移動ドローンに 3 軸加速計を搭載すれば，得られる数値から移動量が算出できる．これをもとに自己位置推定が可能となるため，生徒との位置関係を考慮した撮影ポジションまでの経路の導出を行う．

4.

撮影制御プログラムの試作と検証

前章で述べた通り，制御方式は 4 段階の過程により定義される．本章では距離測定を除く３つの処理過程に関する制御プログラムの試作と実験による検証結果を示す．実験には最終的に使用するバルーン型ドローンと同様なカメラ性能を備え，プログラム制御が可能な小型ドローン Tello EDU（Ryze 社）を代替として用いた．
4.1 対象人物の検出検出精度を確保するためニューラルネットワークを用いた物体認識アルゴリズムの YOLOv3 を利用した．これにより人物がいる範囲を示す矩形の座標と信頼度の値が取得できる．これらの値を利用することで，図 1 のように人物を含む矩形領域を切り抜くことができた．障害物の遮る範囲が多くなると，適切な矩形の取得が困難になることから，信頼度を示す値が 0.8 を下回る場合は除外することとした．

人物領域の判定

認識精度0.8以上で得られる全身画像を採用

ドローンから取得した撮影画像（960*720, PNG）られた．今回は，この中でも最も処理速度が速いKCF を採用した．概ね追跡は成功することが分かったが，追跡対象が矩形領域の半分以上隠れた場合は失敗することが明らかとなった（図 2 参照）．

図 2 追跡の成功例と失敗例
4.3 撮影装置の移動移動量を把握するために機体に搭載されている 3軸加速計を利用した．実験で使用した機体からは約0.1 秒毎の値を受信することができる．機体はホバリング中に自動姿勢制御を行うため水平軸センサの値は微細な変動を示す．閾値を設けることで値の誤差を排除し，加減速時における移動量導出の精度向上を図った．鉛直軸センサでは離着陸などの上下移動以外では大きな値の変動は見られなかった．加速度による移動量の推定値は，実際の移動距離と比較すると誤差が大きく動作の安定性にも欠けていた．
4.4 考察物品が混在する教室においても高い認識精度を持って人物の検出ができることから，適切な対象の位置推定を行うための前処理が可能となった．機体が移動している状態においても，対象人物の追跡が可能なことも確認できたが，対象の急な移動などへの対策が必要であることが分かった．また加速計の値の扱いを見直して精度を向上させる必要がある．

5.

おわりに

本稿では，俯瞰撮影装置の自律移動を行うための制御方式の検討と制御プログラムの一部試作について述べた．現状では，対象を検出して接近することは可能であるが，撮影に適したフレーミングで停止することは難しい．今後は撮影対象との相対距離を算出する位置推定方法を実現し，授業者による操作が可能な制御アプリケーションの開発を目指す．
謝辞
本研究は JSPS 科研費 JP17K01131 の援助による．

切り出し画像図 1 撮影画像からの人物領域の切り出し
4.2 対象の移動検知対象と撮影装置の双方が移動すること，および，追跡領域のサイズが急激に変化しないこと，の 2 つの条件を満たす追跡アルゴリズムを調査した．その結果，OpenCV に実装されている追跡アルゴリズムのうち MIL, Boosting, KCF の 3 つが候補として挙げ参考文献(1) 横川和章, 有馬道久: “教授場面における非言語的コミュニケーション: 理解状態の表出と判断”, 教育心理学研究, 34(2), pp.120-129 (1986)(2) R. Okamoto, Y. Miyoshi and Y. Mori: “Proposal ofBalloon Type Drone for Overhead Shooting in Remote
Joint Classroom”, Yang, J. C. et al. (Eds.): Proceedings ofthe 26th International Conference on Computers inEducation(ICCE2018),
pp.524-526,
Philippines:
Asia-Pacific Society for Computers in Education, Manila,
Philippines (2018)― 326 ―