情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A06
2018/3/5

少人数教室を想定した没入型授業動画システムの提案
田澤美智子†1

福地健太郎†1

概要：講義をビデオで録画した映像を配信し，遠隔地にいても好きな講師の授業を受講できるサービスが普及しつつある．しかし，これらのシステムは，講師と生徒同士で，授業と並行して質問や議論をその場で行うことができない
ため，講師側では通常の授業と比べ事前準備の負担が大きく，生徒側では授業に対する緊張感が持続することができず，学習へのモチベーション持続が困難になるといった問題がある．そこで，本研究ではオンライン授業での問題を解決するための没入型授業動画システムの提案する．また，視聴者と同じ生徒として授業に参加している人物を授業動画システムの映像に映すことで，視聴者の学習に対するモチベーションの持続が保たれると著者らは予測する．これらから，授業動画を撮影する際に，複数名の生徒に活発に参加してもらい 360 度カメラで撮影を行う．しかし，360度カメラで撮影した映像をそのまま視聴するだけでは，スライドを映したデバイスの映像を認識することが困難である．そこで，没入型授業動画システムでは，動画の上からスライドを画像にしたものを貼り付けたことで，その問題点を解決した．

Proposal of immersive class video system assuming small classes
MICHIKO TAZAWA†1 KENTARO FUKUCHI†1Abstract: Services that deliver lecture video recorded videos and services that allow you to attend lecturer classes you like, even
if you are at a remote location, are spreading. However, in these systems, lecturers and students can not make questions anddiscussions on the spot at the same time as classes, so the lecturers are more burdensome to prepare than the usual classes, and thestudents tend to take lessons can not sustain a sense of tension to the problem, it is difficult to sustain the motivation to learning
becomes difficult. Therefore, in this research we propose an immersive class video system to solve problems in online class. In
addition, by reflecting the person participating in the lesson as the same student as the viewer on the video of the class video system,
the authors predict that the persistence of the motivation for the learner's learning is preserved. From these, when photographing alesson movie, have students participate actively and photograph with a 360 degree camera. However, it is difficult to recognize theimage of the device that displays the slide by simply viewing the image shot with the 360 degree camera. Therefore, in theimmersive class video system, the problem was solved by pasting a slide image on the moving image.

1. はじめにき上げることがある．このことから，著者らは学習へのモチベーションが持続する要因として，周囲との社会的関係，MOOC[1]のような講義をビデオで録画した映像を配信仲間意識が一因であると考える．そして，仲間意識を周囲し，遠隔地にいても好きな講師の授業を受講することがでの人に対し持つことは，自分自身にとって励みになり，まきるオンライン授業サービスが普及しつつある. このシスた周囲の人からの影響を受けやすくなる[2]ということがテムによって，距離的に大学に通うことが困難なユーザや，言われている．これらのことを踏まえ，遠隔授業システム

大学に通うことが金銭的，時間的に難しいユーザが手軽にの映像に，視聴者と同じ生徒として授業に参加している人授業を受講できるようになった．しかし，録画した映像を物を映し，その周りの生徒が活発に授業に参加すれば，視視聴するシステムであるため，講師と生徒同士で，授業と聴者自身も周囲から影響を受け，授業に対するモチベーシ

並行して質問や議論をその場で行うことが困難であった．

ョンが向上すると予測する（図 1）．

そのため，生徒と創発的に講義を作り出すことができない．

本研究では、上記の主張をもとに，現状のオンライン授業

ゆえに，講師側は，通常の授業と比べ，念入りに前もったサービスへの問題点を解決する没入型授業動画システムを授業の準備をする必要があり，労力的に負担が大きいとい提案する．

う課題がある．そして，生徒側でも，自ら質問を行うこと

本提案システムでは，視聴者はヘッドマウントディスプや，周りの生徒と授業について議論がなされないことからレイ（以下 HMD）を着用し，授業動画を視聴することを前

授業に対し緊張感が保てないため，授業に対するモチベー提とする．そうすることで，HMD で視界を覆うことがでションの持続が困難になっている．一方で，実際の授業でき，視聴者の周囲に生徒がいる感覚を向上させることがでは周りの生徒と授業内容について議論でき，人間関係を築きる．

†1 明治大学総合数理学部先端メディアサイエンス学科
Department of Frontier Media Science, Faculty of Interdisciplinary Mathematical
Sciences at Meiji University© 2018 Information Processing Society of Japan877

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

視聴する映像としては，講師が少数の生徒に対し授業を3A06
2018/3/5ている．

行う風景を 360 度カメラで撮影した映像を使用する．実写の映像を使用すれば，3DCG で作成された授業風景よりも，実際に授業を受講している感覚に陥りやすくなり，著者らが予測する効果がさらに向上すると考える．

2.2 同調効果を用いた研究
世田らは，集団討議において，多数派の同調圧力により適切に議論がなされない問題を，複数の発信源がある情報また，視聴者は実写映像を HMD で視聴するが，360 度カの方が説得力を感じやすいという心理学的知見に基づき、メラで撮影した映像をそのまま視聴するだけでは，光量不少数派の人数を多数派と同数に見せることで説得力の調整足や白飛びが発生するために，ディスプレイ，スクリーンを図る遠隔通話システムを開発した[6]．具体的な実装方法の映像を認識することが困難である．そこで，没入型授業

としては，通信システム上の１人の話者に２体のアバタを動画システムでは，動画の上からスライドを画像にしたも割り当て，発言間の沈黙を検出しアバタを切り替えることのを貼り付け，その問題点を解決した．以下の章では，本で，リアルタイムに１人の話者を２人に見せかけるように研究の関連研究を述べ，その後に詳しい提案システムの実した．また，鈴木らは表情に対して，無意識のうちに相手装方法，考察，今後の展開を述べる．の行動に同調するミラーリング効果を疑似的に発生させるビデオ通話システムを提案している[7]．鈴木らの提案手法を用いることで，コミュニケーションをする相手に対しポジティブな効果を引き出すことを狙う．

3. 提案手法
まず初めに，著者らが開発した没入型授業体験システムに組み込む授業動画の撮影方法について述べる．次に，提案システムの機能について述べる．
3.1 授業動画撮影方法
図 1 視聴者が HMD 内で見る映像
Figure 1

Picture viewed by viewers in HMD.

3.1.1 撮影内容
聴者は HMD を着用し，授業動画を視聴することを前提しているため，撮影する映像内容としては，講師役１名，2. 関連研究2.1 学習意欲向上を目的としたシステム事例
英会話教室運営会社イーオンが販売した「英会話おもてなしガイド」[3]，実用英語技能検定協会が提供する「売場生徒役 2~10 名が参加する授業を 360 度カメラで撮影する．
実写の映像を使用する理由としては，3DCG で作成された授業風景よりも，実写映像の方が実際に授業を受講している感覚に陥りやすくなり，著者らが予測する効果がさらに向上すると予測するからである．のやさしい英会話 VR」[4]といった，VR を利用した授業シまた授業中では，生徒役には積極的に講師への質問をしステムが多く輩出されている．このようなシステムは，VRてもらい，その場で事前の準備がない創造的な講義を作りならではの没入感，臨場感を生かし，視聴者にコンテンツ出すのを目的とする．

を印象付けることで，学習意欲を向上させている．
石野らは，ロボットが講師の代わりに講義プレゼンテー

3.1.2 撮影手法

ションを代行し，学習者の講義理解を支援する手法とシス使用する機材としては，360 度カメラに Theta V を使用し，テムを提案している[5]．具体的には，講義内容の理解を生また，視聴者が HMD を通して視聴する際，身体がなければ徒に促すことが必ずしもできない講師に対し，不適切な動不自然に感じることがあるため，人間の体の代わりに頭部作の検出と修正を行う．そして，修正した動作情報を元にを外した全身マネキンを使用する．具体的な使用方法としロボットが講義プレゼンテーションを代行するというものては，全身マネキンを椅子に座らせ，首元に Theta V を設である．つまりこの研究では，生徒の学習意欲を上げるた

置し撮影を行う（図 2）．そうすることで，視聴者は HMD をめに，講師の授業スキルを向上させるシステムを構築した．

通して視聴する際，マネキンの首や肩が視聴者の体の一部

上記の研究では生徒の学習意欲を向上させるために、講師として認識しやすくなる．そのため，視聴者にその動画上に働きかけているが，本研究では，視点の周囲に活発に授にいる感覚を持たせやすい．

業に参加する生徒を配置し，視聴者の学習意欲を向上させ

また，撮影時間は 25 分以内とする．時間制約がある理由ていることから，生徒側の情報を変化させて問題を解決しとしては，Theta V は最大録画時間が 25 分と制限がある点© 2018 Information Processing Society of Japan878

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A06
2018/3/5と、HMD を長時間着用するには不適切である点があげられ

らは本研究で使用する HMD を Oculus Rift に採用し，視聴る．そして，長時間の授業を撮影する際は，25 分間隔に授者に Oculus Touch コントローラで提案システムの操作を行

業時間を分け撮影を行う．ってもらう．
3.2.2 動画上のデバイス映像を画像に置き換える
講師役が用意したスライドをディスプレイ，スクリーンに映し授業を行うが，録画した映像では，それらから出る光の影響で白飛び（図 3 左）してしまうことや，周囲の光量不足で，映像上でスライドの文字を認識するのが難しい．
提案システムでは，この問題を解決するために，ディスプ
レイ，スクリーンに映された映像の位置に合わせて，スライドを画像に変換したものを，動画視聴前に手動で著者らが上から貼り付けた．
（図 3 右）そうすることで，HMD で視聴した際に，スライドの文字が認識できる．しかし，それでも文字を認識することが難しい場合がある．そこで，

図 2
Figure 2

Theta V 設置場所

Theta V installation location.

スライド画像を拡大してみるために，以下の二つの機能を取り入れた．

3.1.3 撮影の際，講師役が行うこと
本提案システムでは，スライド画像を自動的に切り替えるために，スライドを切り替えた時間を CSV に記録するPowerPoint ア ド イ ン を 使 用 す る た め ， 講 師 役 に はPowerPoint でスライドを表示し授業を行ってもらう．アド

図 3

インの仕様上，スライドショー中に他のアプリに切り替え

Figure 3

画像貼り付け前（左），画像貼り付け後（右）Before image pasting (left), after image pasting(right).

た時間を所得できないため，ライブコーディングやブラウ
ザアプリで検索などは授業中に行うことを制限する．また，後からスライドを画像に変換するため，スライドでアニメ一つ目は，スライド近くまで自身の視点を近づけられるーションを使用することを制限する．その他にも，アドイように，視点を仮想空間上において移動できる機能（図 4）ンでは動画の撮影開始時間を取得することは困難であるたを追加した．この機能により，仮想空間内での視点とスラめ，スライドショーを開始するタイミングと同時に，講師イド画像の距離が近くなり，スライド画像が拡大したよう役は手動で動画の撮影を開始する必要がある．に見ることができる．操作方法としては，移動したい位置に 視 線 を 向 け る と 濃い 水 色の リ ン グ マ ー ク が 出現 し ，

3.1.4 撮影の際，生徒役が行うこと

Oculus Touch の A ボタンを押すことで視点が移動する．

視聴者がカメラの映像から，生徒が 2~10 人いることを認識してもらうために，カメラの視界に入るように机を配置し着席した状態で授業を受講してもらう．そして，生徒役には授業を楽しく受講しているように演技をしてもらいつつ，積極的に講師に対して質問を行ってもらう．そうす
れば，視聴者は活発に活動する生徒の映像を見ることで、周囲に同調するようになり、授業に対しポジティブな印象を感じやすくなると予測される．楽しいというポジティブな感情は，認知や情報処理に良い影響を及ぼすことがわかっている[8]ため，学習効果も向上すると予測する．

図 4
Figure 4

視点を移動したときの映像
Image when moving the viewpoint.

3.2 没入型授業動画システム3.2.1 デバイス
提案システムは Unity を使用し作成した．そして，著者© 2018 Information Processing Society of Japan

二つ目は，ノートパソコンを使用し授業を受けるシチュ

879情報処理学会 インタラクション 2018
IPSJ Interaction 2018

エーションを考え，視聴者の視線の手前にノートパソコン

3A06
2018/3/5

3.2.4 動画スキップ機能を配置し，その画面上に手動でスライド画像を貼り付けた

動画を 10 秒間隔でスキップする機能を追加し，視聴者（図 5）．操作方法としては，ノートパソコンの画面に視線が授業動画を視聴しやすい環境を構築した（図 6）．操作方を向け，Oculus Touch の ThumbStick を左右に動かすことで，法としては，まず初めに，講師役の付近にあるディスプレ手元のノートパソコンのスライドを切り替えることができ

イ，スクリーンに映されている映像に視線を向け，A ボタる．

ンを押すと，動画は一時停止し，選択画面と左右に灰色の矢印が表示される．そこで，選択画面の Movie Skip を選択し，ThumbStick を左右に動かすことで動画をスキップすることができる．好きな再生位置まで進めたら，B ボタンを押すことで動画が再生される仕組みになっている．

図 5 ノートパソコンにスライド画像を貼り付けた
Figure5

I pasted a slide image on my laptop.
図 6 動画スキップ機能

3.2.3 スライド画像自動切換え機能

Figure 6

Movie Skip Function.

ディスプレイ，スクリーンで映された映像の箇所に合わして，スライドを画像に変換したものを上から貼り付けた
場合，動画に合わせて画像を切り替える必要がある．そこ

3.3 現状システムの問題点で，その画像を切り替える機能を追加した．具体的には，講師役がスライドに指さしし教示することがあるが，上プレゼンテーションを行う際にスライドを切り替えた時間記の手法の通り，画像を動画の上から貼り付けてしまうと，を CSV ファイルに記録する PowerPoint アドインを Visual

講師役がどの箇所を指しているかわからない（図 7）．そこBasic for Applications で作成した．そのため，講師役が使用

で，画像を透過し，指差しした箇所が判断できるか試みた．

するプレゼンテーションツールは PowerPoint と指定していしかしそれでも，透過された画像の文字と，その背後にある．なお現段階では Windows のみ動作確認を行っている．

る動画の文字が重なり，スライドの文字を読むことが困難

次に，作成したアドインを，講師役の PowerPoint に導入になる．動画の文字と，透過された画像の文字が完全に重し授業を行ってもらう．スライドショーが終了した後に，なっていれば，読むことは可能だが，画像を完全に重ねるドキュメントフォルダ内にスライドを切り替えた時間と次ことは難しい．そこで，ディスプレイに表示されている映のスライドの番号が記された CSV ファイルが書き出され像が 360 度カメラに写らないようにするために，カメラにる．記録されている切り替え時間は，スライドショーが開偏光フィルムを張り付ける方法を提案した．だが，偏光フ始されてからの経過時間になっている．

ィルムを 360 度カメラに貼り付けてしまうと，入り込む光最後に，出力された CSV ファイルを，提案システムにイン量が減り，映像全体が暗くなってしまう問題ある．それゆポートする．自動切り替え機能の実装方法としては，動画え，指差しジェスチャーを示している箇所を判断できるよの経過時間と，CSV ファイルに記録されている時間が一致うにするには，さらに検討する必要がある．

すれば，スライド画像を CSV ファイルに記録されている番号に切り替えるようにしている．しかし，現段階での実装方法では，スライドショーを開始するタイミングと同時に，手動で撮影を開始する必要があり，どうしても画像を切り替えるタイミングに差が生じてしまう．提案システム上では，その差分の秒数を入力し，動画とスライド画像が切り替えるタイミングを合わせている．しかし，何秒差分があるか自身で調べる必要があり，扱いづらいため，さらなる実装方法の検討が必要である．
図 7
Figure7© 2018 Information Processing Society of Japan

講師役の指差し動作

Pointing action of instructor role.

880

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3A06
2018/3/5ているが，手軽に誰でも体験できるように，スマートフォン対応にすることを検討していきたい．

4. 考察
提案システムでは，複数名の生徒役を含め授業動画を撮

6. まとめ影するため，講師役は生徒役と共に創発的な講義をその場

本研究では，オンライン授業での課題であった，講師にで作ることができる．これは，通常の授業と遜色がない状とって通常の授業と比べ労力的に負担が大きいという点と，況と言え，労力的に負担が今までのオンライン授業サービ

生徒の授業に対するモチベーションの持続が困難という点

スよりも少ないと予測される．また，複数名の生徒が活発において解決することができる没入型授業動画システムのに授業を受講する映像から，視聴者は周りの生徒から影響提案を試みた．また，視聴者と同じ生徒と活発に授業に参を受け，視聴者の授業に対するモチベーションが向上する

加している人物を映すことで，視聴者の授業に対するモチと考える．

ベーションが向上すると予測する．これより，授業動画をそれから，2 名の被験者に本提案システムを体験しても撮影する際に，複数名の生徒も参加し 360 度カメラで撮影らった．その際に，観測できた行動や体験者からのコメンを行う．そして，撮影した授業動画を提案システムに組みトを以下述べていく．まず初めに観測できた行動として，込み，視聴者は HMD で授業動画を体験する．そうするこ

周りの生徒役が拍手すると視聴者も拍手するといった周囲とで，撮影の際は，講師役は教師役と共に創発的な講義をに同調する動作が見受けられた．これより，周囲からの同その場で事前の準備なく作ることができ，視聴者にとって調効果を確認できたので，本研究で主張する学習意欲へのは，周囲の生徒の影響を受け，学習に対しモチベーション向上に関係する可能性があると考える．その他にも，体験が向上すると考察する．今後は，提案システムの検証と更者から，質問者と講師役の会話に興味がなければ聞かなくなる実装を行っていきたい．ても煩わしさを感じにくいといったコメントをもらった．
これは，電車の中の会話のような一方的な発話は，自分に参考文献対して発せられている会話であるかどうか確認しなくては[1] “JMOOC-無料で学べる日本最大のオンライン大学講座(MOOC)”. https://www.jmooc.jp/,（参照 2017-12-25）[2] Byron, R. and Clifford, N.細馬宏通（訳）．人はなぜコンピュー
タを人間として扱うのか-「メディアの等式」の心理学．翔泳社，2001, 399pp.
[3] “英語ガイドでおもてなしガイド<VR 対応>- Google Play のAndroid アプリ”.
https://play.google.com/store/apps/details?id=jp.co.aeon.omotenashi,（参照 2017-12-25）[4] “VR で体感！売り場のやさしい英会話”,
https://www.eiken.or.jp/learning/personal/topics/selling_area_vr/.
（参照 2017-12-25）[5] 石野達也，後藤充裕，柏原昭博．ロボットを用いたプレゼンテーション代行による講義理解支援．HAI シンポジウム，2017.
[6] 世田圭佑，横山正典，望月崇由，布引純史，鳴海拓志，谷川智洋，廣瀬通孝．Multiple Source Effect を用いた集団討議支援のための遠隔通話システムの開発．信学技報, 2017,vol.
117, no. 73, MVE2017-7, pp. 49-54.
[7] 鈴木啓太，横山正典，吉田成朗，木下由貴，望月崇由，山田智広，櫻井翔，鳴海拓志，谷川智洋，廣瀬通孝．同調的な表情変形技術を用いたコミュニケーション拡張に関する提案．
第 21 回日本バーチャルリアリティ学会大会論文集, 2016,
Vol.21.
[8] 山崎勝之．ポジティブ感情の役割－その現象と秩序．パーソ
ナリティ研究，2006, Vol.14, no. 3, pp.305-321.
[9] 岡田美智男．弱いロボット．医学書院, 2012, 224pp.

いけないため煩わしさを感じる[9]といった話がある．それから，本提案システムでは，講師の発話を受け止める生徒が動画中に存在しているため煩わしさを感じにくいのではないかと考察する．

5. 今後の展開
今後は，提案システムの評価実験を行い，学習意欲向上への有用性について検証していく予定である．また，周囲を囲んでいる人物が映像と 3DCG アバタ，どちらが学習意欲に影響を与えるのか調査したいと考えている．もし，3DCG アバタでも，映像と比べ学習意欲の向上に変化がなければ，講師役，生徒役を 3DCG アバタに置き換えることができる．そうすれば，講師，生徒の見た目を，学習へのモチベーションが上がりやすい容姿のキャラクターにすることができる．また，高画質映像を扱うため，提案システ
ムの容量が大きいという問題があったが，3DCG に置き換えることができれば低コストで授業動画を作成できる．さらに，提案システムをもとに，授業内容について音声でメモを取ることができる機能を追加する必要があると考える．
そうすることで，更なる学習への理解が促進されると推測する．その他にも，教室以外にも通常では授業を行うことはない場所で，授業動画の撮影を検討する．例えば，野外で授業動画の撮影を行えば，開放的な授業動画が作成できると考察する．また，現在は HMD に Oculus Rift を使用し

© 2018 Information Processing Society of Japan881