四国地区

教育システム情報学会 2019年度学生研究発表会

電子黒板を用いた遠隔授業のための教師シルエット生成手法の開発
Development of Lecturer’s Silhouette Generation Method
for Distance Education Using Interactive Whiteboards
岩本 拓巳, 三好 康夫, 岡本 竜
Takumi IWAMOTO, Yasuo MIYOSHI, Ryo OKAMOTO
高知大学理学部応用理学科情報科学コース
Information Science Course, Department of Applied Science, Faculty of Science, Kochi University
Email: {b163k247, miyoshi, ryooka}@is.kochi-u.ac.jp
あらまし：先行研究では高知県での遠隔授業における受信側教室の生徒の目線切り替えに関する問題に着目し，デプスカメラを用いて教師シルエットを生成するシステムを開発した．本研究では，教師シルエット生成手法としてウェブカメラのみを用いる手法を提案し，デプスカメラを用いる手法との比較検証を行った．本稿では，２つの教師シルエット生成手法の概要と比較検証の結果について述べる．
キーワード：遠隔授業，教師シルエット，背景差分1.

法は，開発に使用したライブラリを変更する必要があるものの，基本的には Kinect と同様に行えると考えられる．従って本研究では，ウェブカメラを用いて教師シルエットを生成する手法の開発を試みた．
本稿では，主にウェブカメラを用いる手法について説明する．

はじめに

現在高知県で行われている遠隔授業は，授業資料を映した電子黒板と，配信側教室の様子を映した大型モニタの二つを受信側教室の前方に配置して実施することが多い．この配置の場合，受信側教室の生徒は，必要に応じてそれぞれの電子黒板を見なければならず，目線の切り替えが頻発してしまう．先行研究では，この目線の切り替えが授業に対する集中力の妨げになると考え，デプスカメラ（Kinect V2 センサ）を用いて電子黒板の前に立つ教師のシルエットを生成し，図 1 左のように，授業資料を映している電子黒板に半透明にして描画することで問題解決を図った．これにより，生徒は電子黒板を見るだけで，教師が指し示す位置を確認しながら電子黒板の内容を読むことができる．
しかし，先行研究で用いている Kinect V2 は，ケーブルが太く本数が多いため扱いづらく，販売中止のため入手が困難となってしまった．そこで，Kinect を用いない別の教師シルエット生成手法を検討することになった．候補としては，RealSense D435 のような別のデプスカメラを用いる手法と，ウェブカメラを用いる手法が挙がっている．RealSense を用いる手

図 1

2.

先行研究のシルエット描画の例

教師シルエット生成手法の概要

教師シルエットを生成する流れを図２に示す．まず，電子黒板全体が映るようにカメラを設置し，カメラ画像の中の電子黒板の四隅を検出する．以降，カメラ画像②は，四隅の座標でくり抜き射影変換を行ったものを利用する．そして，ウェブカメラの場
合とデプスカメラの場合とでそれぞれの方法で教師

図 2 教師シルエット生成の流れと画像の例

209

四国地区

教育システム情報学会 2019年度学生研究発表会

シルエットのマスク画像③を生成し，画像②と③の論理積により透過背景の教師シルエット画像④を生成する．
デプスカメラを用いたマスク画像③を生成する手法については文献(1)で述べているため，次章では本研究で開発を試みたウェブカメラを用いた手法について詳述する．

3.

ウェブカメラを用いた教師シルエットのマスク画像生成手法

図 4 穴抜けがある教師シルエットの例

ウェブカメラを用いて教師シルエットのマスク画像③を生成するには，図 2 に示した通り，カメラ画像②と人物なしのカメラ画像①の背景差分をとれば良い．しかしながら，単純に背景差分を行うだけでは期待するマスク画像を生成することができなかった．また，人物なしのカメラ画像①をどのように更新すれば良いかという問題がある．以降はこれらに対する解決策の提案を行う．
3.1 画像②－①の背景差分手法
画像処理ライブラリの OpenCV にはいくつかの背景差分用のアルゴリズムが実装されている．しかしながら，例えば図 3 は混合正規分布(MOG)を用いて教師シルエット画像④を生成したものであるが，教師の頭が完全にかけてしまっている．OpenCV の他のアルゴリズムについても，そのまま用いただけでは，画像①②から期待するマスク画像は生成されなかった．

3.2 人物なしのカメラ画像①の更新手法
画像①は，電子黒板の画面をカメラで映したものである．従って，電子黒板の画面が切り替わった際に画像①も更新する必要がある．しかし，画面切り替え時に教師などが電子黒板の前にいてカメラ画像②に映りこんでいる可能性があり，その場合は画像②をそのまま画像①として更新することはできない．
そこで次のような更新手法を提案する．まず，電子黒板の画面キャプチャを随時行い，画面の切り替えが発生したかを確認する．切り替えが発生した場
合，現在のマスク画像③をもとに，現在教師がいると想定される領域以外の背景画像を現在のカメラ映像に更新する．その後，教師が移動した時にまだ更新できていない背景部分の領域を更新することで自動的な背景画像の更新を行う．
現時点では，本提案手法の実装は行えていない．

4.

おわりに

本稿では，ウェブカメラを用いた教師シルエットの生成手法などについて述べた．しかし，ウェブカメラを用いた手法は処理が重くなり，CPU への負荷が大きくなることが想定される．このような結果を踏まえ，教師シルエットを生成するには，RealSenseなどのデプスカメラを用いるのが望ましいと考える．
今後は，先行研究のシステムを RealSense に対応したシステムに変更を行う予定である．また，先行研究において課題となった，教師シルエットを受信側教室へ高速に配信する手法を開発したいと考えている．

図 3 MOG を用いた教師シルエットの生成例
そこで，画像①と②の色空間を HSV に変換した上で差分(diff)をとり，色相(Hue)の差を重視したフィルタリングによりマスク画像③を生成する手法を提案する．この手法で生成したマスク画像からシルエット画像④を生成した例を図 4 に挙げる．図にあるよ
うに，大まかな教師シルエットの領域検出は行えているが，服の一部などに穴抜けが生じてしまっている．これは，服の色と教師の陰で電子黒板に表示しているピクセルの色が類似していると，背景と判断されてしまうことが原因であると考えられる．この問題を解決するには，シルエットのマスク領域は完全に塗りつぶしてしまえば良いと考えている．

謝辞
本 研 究 の 一 部 は JSPS 科 研 費 17K01130 と17K01131 の助成を受けた．
参考文献(1) S. Komatsu, Y. Miyoshi, Y. Mori & R. Okamoto:“Lecturer's Silhouette Display System for Distance
Education Using Screen Sharing between InteractiveWhiteboards”, Yang, J. C. et al. (Eds.): Proceedings of the26th International Conference on Computers in Education,
pp.482-487 (2018)210