情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-49
2020/3/9

ライブプレゼンテーションに基づく
反転講義用動画作成のための AR パペットの開発
片岡 瞳†1,a)

落合 裕也†1,b)

大囿 忠親†1,c)

新谷 虎松†1,d)

概要：本研究では，授業と宿題の役割を反転させた授業形態である反転講義のための動画作成支援システ
ムを開発している．ここでは，反転講義用動画への AR パペットの導入を試みる．AR パペットは，生徒の理解促進や興味維持を目的とした，拡張現実空間内のエージェントである．動画撮影後の編集作業の負担を軽減するため，講師が撮影中に AR パペットを操作可能なシステムを検討する．また，講師と AR パペットによる対話形式の講義のための演出効果を実現する．本稿では，ライブプレゼンテーションに基づき動画作成中に操作可能な AR パペットの開発について述べる．

1. はじめにトである．AR パペットを仮想の生徒として，講師と ARパペットとの対話形式の講義を演出することが可能であ

授業と宿題の役割が反転した新たな授業形態である反転ると考えた．対話形式にすることで，生徒の思考を促すこ講義において，予習 (宿題) 用の教材である講義映像の編集とが期待できる．また，生徒にとって実際の講義時間におにおける負担を軽減するための支援が必要である．講義のける議論のための予行演習にもなる．また，AR パペット

撮影とその記録映像の編集作業は煩雑であり多くの手間がを講師役とする講義映像を作成することも可能である．こ必要である．例えば，撮影した映像に対して，生徒が講義れは，講師の映像を生徒が好む姿に変更可能という利点が内容を理解しやすくするための編集 (例えば映像の不要なある．

部分の削除) は重要であるが，負担が大きい．

本稿では，ライブプレゼンテーションに基づく反転講義

本研究の先行研究として，可聴性を阻害する話者の癖を用動画作成において，講師による操作が可能な AR パペッ調整し，音声明瞭性の高い理想的な状態に講義映像を変換トの開発について述べる．本稿において，ライブプレゼンするための技術を開発してきた [1]．音声のみならず，講義テーションに基づく反転講義用動画作成とは，講義映像撮映像を観やすくするなどの視覚的な支援も重要である．例

影時に，講師がプレゼンテーションコンテンツの一部であえば，資料の拡大表示などの強調効果の付与，講師の表示

る AR パペットを，講義を継続しながら制御可能であるこ方法の変更，テロップの挿入などが挙げられる．スライドとを指す．このような AR パペットの実現により，講師が映像のみでは映像が単調になりがちであり，生徒の興味の講義の進行に応じて柔軟に AR パペットとの対話を取り維持が困難であるため，視覚的な演出が必要であると考え入れることも可能である．ここでの AR パペットの役割とた．そこで本研究では，反転講義の動画において，生徒のは，仮想の講師としてメインで講義を行うこと，人間の講理解を助けるための機能として AR パペットを開発した．

師を補助しながら共に講義を行うこと，または仮想の生徒AR(Augmented Reality；拡張現実感) 技術を利用することとして人間の講師に疑問を投げかけることなどが想定されで，映像中の立体的な座標を取得可能になる点に着目した．

る．また，本稿において講義映像とは，講義を録画した動

近年の AR 技術は，Apple 社の iOS 端末など，汎用的なモ画とする．ここでの講義映像には，講師によるスライド形バイル端末で利用可能であり，特別な機器を必要としない式の講義資料を用いた説明が録画されている．講義映像に点が優れている．AR パペットは，講師によって操作され，は映像および音声が含まれている．講義映像中の講義資料

拡張現実空間内のオブジェクトとして存在するエージェンの映像をスライド映像と呼び，同様に，講義映像中の講師

†1a)
b)
c)
d)

現在，名古屋工業大学
eye@toralab.org
ochiyu@toralab.org
ozono@toralab.org
tora@toralab.org© 2020 Information Processing Society of Japanの映像を講師映像，講義映像に AR パペットを追加した映像を AR 映像と呼ぶ．また，講義映像中の講師の音声を解説音声と呼ぶ．
以降の構成を以下に示す．2 章では，関連研究について665

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-49
2020/3/9述べる．3 章では，AR パペットの仕様について，見た目おは，特に発表者とスライド上のコンテンツ両方に集中するよび操作方法の観点から議論する．4 章では，AR パペット必要がないという点に着目している．また，Trinh ら [4]を用いた反転講義用動画作成システムについて，システムは，仮想エージェントとの共同プレゼンテーションを実現

構成と機能を図や実行例を用いて説明する．5 章では，開発するためのシステムを開発した．仮想的な共同発表者の存した AR パペットの設計について議論する．6 章では，考在が，発表者の不安を軽減し，自信を向上させたことを実察について述べる．最後に，7 章で本稿についてまとめる．

証している．仮想エージェントが聴講者の注意を引くこと

2. 関連研究2.1 反転講義のための動画作成支援

で，発表者の緊張を軽減し，さらに発表の単調さを解消したといった結果が得られている．
本研究ではアドホックな講義映像作成の支援を目的とし，反転講義を取り入れる教育機関やオンラインによる講義

撮影中における講師の操作によって，リアルタイムに講義を提供するサービスの増加により講義映像の需要が高まっ映像に AR パペットを用いた演出効果を追加するシステムている．反転講義は，生徒の学習意欲の向上や知識の定着である．これにより，撮影前の綿密なシナリオの作成や撮を促すことを目的とし 2000 年頃から提案されている．反影後の映像編集作業に要する負担の軽減を目的とする．

転講義では，生徒が宿題として講義前に自習を行い，教室ではグループ学習やディスカッションなど，発展した授業

3. AR パペットの仕様を行う．生徒にとって，講義内容を理解しやすく品質の高本章では，AR パペットの仕様を見た目および操作方法

い講義映像が求められる．しかし，講師は，講義の様子をの 2 点から検討する．まずは，制約条件について検討し，撮影し，撮影した映像の不要な部分を削除したり，生徒が各制約条件を満たすための機能について議論する．

講義内容を理解しやすくするために編集を行う必要があAR パペットが満たすべき制約条件は，(1) 必要な演出り，講義映像の作成コストは高い．そこで，講師の講義映効果を実現可能であること，(2) 撮影中に講義を継続しな像の品質向上，作成および編集の支援を行う必要がある．

がら講師自身で操作可能であること，(3) 簡便に利用可能

本研究の先行研究として開発した講義映像作成支援システであることの 3 点である．制約条件 (1) の必要な演出効果

ムは，スライド形式の講義資料に対して解説音声を付与しを実現可能であることとは，ここでは対話形式の講義に必た講義映像の作成を支援することを目的とした．ここで，要な演出効果が可能であることを意味する．多様な演出

講義映像中には講師映像が含まれない．本研究は，実際に効果が可能であれば多様な講義映像を作成可能になるが，講師が映り，AR パペットを用いてスライド形式の擬似講

AR パペットの操作が煩雑になることが予想される．制約義を行う動画作成を支援する．

条件 (2) の撮影中に講義を継続しながら講師自身で操作可能であることとは，講義中の講師にとって認知的負荷が軽

2.2 ライブプレゼンテーションにおける演出効果

いということを意味する．対話形式の講義映像を作成する

プレゼンテーションやテレビ番組，広告といった様々な上で，撮影後の編集作業を可能な限り省略するために，講目的で，動画中にグラフィックスを組み合わせ，表現豊かな義中に AR パペットを講師自身で操作可能であることが有パフォーマンスを作成する演出が用いられる．グラフィッ

効であると考えられる．制約条件 (1) と (2) は，トレードクスを後処理として動画に追加する場合もあるが，天気予オフの関係にある．演出効果の種類を増やしても，実際の報やカメラアプリのビデオフィルターなど，リアルタイム講義映像撮影中には運用できないと予想される．制約条件でグラフィックスを操作する場合がある．このようなライ(3) の簡便に利用可能であることとは，汎用機器のみで実ブプレゼンテーションにおける演出効果を用いた動画作成現可能であること，および AR パペットの操作者を別途必支援の研究が行われている．

要としないことを意味する．制約条件 (2) を緩和するため

Saquib ら [2] は，プレゼンテーションの動画において，には，講師以外が AR パペットを操作すれば良いが，講師発表者のジェスチャや姿勢をトリガーとして，リアルタイと AR パペット操作者との事前の準備が負担になると考えムにインタラクティブな演出効果を追加するシステムを開られる．

発した．これにより後からプログラミングや煩雑な動画編

制約条件 (1) を満たすために，ここでは AR パペットの集によるプレゼン映像とグラフィックスの合成を行う必要

演出効果として，(A) 挨拶，(B) 質問, そして (C) 了解の 3はなく，ライブパフォーマンス中に直感的に演出効果を制種類を実現する．これは，講師と AR パペット間の挨拶に御可能である．Matulic ら [3] は，ライブプレゼンテーショ始まり，講師と AR パペット間の質疑応答により講義を進ンにおいて，発表者のジェスチャーによって動作するアバめることとしたからである．演出効果 (A)〜(C) を実現す

ターをスライドに表示するシステムを開発した．発表者がるために，AR パペットは，おおよそ人間のような肢体をプレゼンテーションコンテンツの一部となり，データや図持ち，頭の位置と，腕の向きを制御可能にする．さらに，などの要素とインタラクションを行う試みである．ここで講義内容に AR パペットの見た目を合わせるため，ユーザ© 2020 Information Processing Society of Japan666

情報処理学会 インタラクション 2020IPSJ Interaction 2020

2B-49
2020/3/9が AR パペットを作成可能にすることも必要である．
制約条件 (2) を満たすために，半自律制御が可能な ARパペットを実現することとした．AR パペットの操作として，自律制御，半自律制御，および手動制御が考えられる．
自律制御は，講師の認知的負荷の軽減に有効であると考えられるが，技術的に困難である．手動制御は，操り人形のように講師が全てを操作することを意味するが，認知的負荷が高い．ここでの半自律制御では，講師の簡単な操作により，演出を再生することを意味する．具体的には，(B)
質問は，ポインティング機能として実現する．すなわち，

図 1 動画撮影環境におけるハードウェア設置の様子

画面上のタップにより，AR パペットがその箇所をポインティングしつつ発話する．(A) 挨拶および (C) 了解は，ボタンのタッチにより AR パペットが動作付きで発話する．
先にも述べたように，AR パペットは，AR 映像における演出効果と操作の容易さを両立する必要がある．AR パペッ
トを詳細に操作することができれば多様な演出が可能になるが，操作が複雑になる．演出効果を 3 種類に限定した上で，半自律制御を可能とすることで，制約条件 (1) と (2)を両立すると期待される．
制約条件 (3) を満たすために，制約条件 (2) で示した半自律制御を実現する．また，汎用機器として Apple 社のiPhone もしくは iPad 上で実現することとした．iPhone
もしくは iPad は，AR の機能を標準的に利用可能であり，また講義映像作成のための撮影機器としても優れている．
制約条件 (1)〜(3) を満たすために，人のような四肢によ

図 2システム構成図

る 3 つの演出効果を，講義中に容易に操作可能な，拡張現実空間内のエージェントを実現する．また，本機能を iPhoneもしくは iPad 上で実現することで，汎用機器による導入を可能にする．

4. AR パペットを利用した反転講義のための動画作成システム
4.1 システム構成

ともに iPad を用いた．
図 2 に本システムの構成図を示す．本システムは，主に操作用デバイスと撮影用デバイスによって構成される．講師は，操作用デバイスのタッチスクリーンを用いて入力を行う．撮影用デバイス内のポインティング機構は，平面検出部と座標算出部を持つ．平面検出部は，カメラを利用しスライド映像を受け取り，平面を検出する．座標算出部は，

図 1 は，本システムを利用した動画撮影環境におけるスライド位置情報と操作用デバイス画面上のタッチ座標かハードウェア設置の様子である．動画撮影環境には，講義ら，ポインティング座標を算出する．また，撮影用デバイ

用 PC，講義スライド，操作用デバイス，および撮影用デス内の AR パペット制御部は，座標算出部から受け取ったバイスが含まれる．講師は講義用 PC によって講義スライ

ポインティング座標を元に AR パペットのポーズを変更

ドを操作する．講義映像は撮影用デバイスのカメラを用いする．または，操作用デバイスから演出再生イベントを受て撮影する．このとき撮影用デバイスは，講義映像に ARけ取った際は，対応する演出を AR パペットに適用する．

パペットを追加した AR 映像を画面に表示する．本システ

AR 表示部は，講義映像に AR パペットを追加した AR 映

ムにおける AR 機能は Apple 社の ARKit を用いて実装し像を作成し，画面へ出力する．また，作成した AR 映像はたため，撮影用デバイスはこれを利用可能な iOS 端末で操作用デバイスへ転送し，操作用デバイスの画面に表示さある．また，講師は操作用デバイスのタッチ操作によってれる．動画記録部は AR 映像を保存する．

AR パペットを操作する．操作用デバイスには，撮影用デバイスの画面に表示されているものと同様の AR 映像が転4.2 機能送されている．講師は，AR パペットを操作しながら作成

スライド検出機能と AR パペットの自動設定機能についされた AR 映像を見ることでフィードバックを受け取る．て説明する．撮影用デバイスで本システムを起動すると，本稿における実行環境は操作用デバイス，撮影用デバイスカメラ映像から平面検出を開始する．講師はあらかじめス© 2020 Information Processing Society of Japan667

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 3

ポインティング機能の実行例

2B-49
2020/3/9

図 4操作用デバイスの画面．講師は演出再生ボタンをタップしてAR パペットに「わかった」の演出を適用している．

ライドを平面として検出を行なってから講義を開始する．
この操作により，本システムはスライドの位置・大きさ・向き等を認識する．次に，検出したスライド情報に基づき，AR パペットの自動設定を行う．AR パペットの位置・大きさ・向きは，スライド情報に応じて相対的に自動決定する．講師は撮影用デバイスのカメラでスライドを映す動作
のみで AR パペットの配置を行うことが可能である．
ポインティング機能について説明する．生徒が講義内容を理解することを助けるために，AR パペットがスライド中の任意の点を指し示す機能が必要であると考えた．図 3
はポインティング機能の実行例である．図 3 右の講師は，手元の操作用デバイスのタッチスクリーンを操作してポインティング箇所を入力している．操作用デバイスの画面には，作成された AR 映像がリアルタイムに表示される．
タッチ座標がスライド位置と重なった場合に，ポインティ

図 5 操作用デバイスの画面．AR パペットに「あいさつ」の演出を適用している．

ング機能が動作する．講師がポインティングを行なっている間，AR パペットはその点に向けて腕を回転する．図 3ている．図 5 も同様に，操作用デバイスの画面である．講の講義スライド上の点はポインティング箇所を示してお義の開始時に，AR パペットが講師に挨拶をするための「あり，AR パペットは点の方向を左腕で指し示している．まいさつ」の演出を再生している．AR パペットの頭上にはた，ポインティング実行中にパペットの頭上には「ここ教「こんにちは」という発話が表示され，右手を挙げて挨拶すえて」という発話が表示される．

るモーションを実行している．

次に，演出再生機能について説明する．演出再生機能は，あらかじめシステムに登録済みの AR パペットの演出を，5. パペットの設計任意のタイミングで再生するための機能である．図 4 は操

本章では，開発した AR パペットの設計について議論す作用デバイスの画面である．画面下部には演出再生ボタンる．パペットの表示方法について，本研究では，パペットが表示されている．講師がボタンをタッチすると，対応すを画面上に平面的に表示する方法と，AR 空間内に立体的る演出が AR パペットに適用され，再生を開始する．ここに表示する方法を検討している [5]．パペットを AR 空間内

でもまた，講師は操作用デバイスの画面を通して，演出がの 3D オブジェクトとして表示することで，カメラの方向再生されている様子をリアルタイムに確認することができによって様々な方向から AR パペットを撮影することや，る．図 4 では，AR パペットを仮想の生徒として対話形式

現実の環境に応じた表現を実現することが可能になると考の講義を行うことを想定し，AR パペットが講師の解説をえた．現実の環境に応じた表現とは，例えば現実の床の上理解したという場面で再生するのための「わかった」の演に AR パペットを立たせる，スライドの位置を考慮した移出を再生している．AR パペットの頭上には「わかった！」

動，講師とのインタラクティブな振る舞いなどである．という発話が表示され，両手を挙げるモーションを実行し© 2020 Information Processing Society of Japan前で述べたように，本システムでは講師のタッチスク

668

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 6 AR パペットの元画像

2B-49
2020/3/9

図 7 AR パペットのパーツ分け・ボーンリーンによる入力で AR パペットを操作する．スライドのポインティングは画面上のスライド映像をタッチすることで制御し，あらかじめ設定された演出を再生する場合に

図 8 AR パペットを仮想の講師として動画作成を行なっている例．
ここでは AR パペットとして，人間の 3D モデルを利用している．

はボタンのタッチをトリガーとする．ここでは，作成中の動画に対し，画面をタッチする操作は直感的なインター考えられる．(a)AR パペットを仮想の生徒とし，講師とのフェースであると考えた．しかし，これは講義映像を撮影対話形式の講義を演出する方法，(b)AR パペットを仮想の中に講師が操作用デバイスの画面を目視し手で操作を行講師とし，AR パペットによる講義を演出する方法，おようため，講師の動きが制限される問題があり，講義に影響び (c) 複数の AR パペットによる講義を演出する方法であを及ぼすケースが考えられる．この制限は，講師のジェスる．(a) では，動画には講義スライド，講師，および AR

チャで AR パペットを制御する方法によって緩和できるとパペットが含まれる．AR パペットが生徒の意見を代弁す考えた．PoseNet[6] によるリアルタイム姿勢推定を利用する演出によって，生徒の理解を促進することをねらいとすることで，動画作成のための機材を増やす必要がなく，撮る．AR パペットの操作は操作用デバイスを用いて行うた

影用デバイスのカメラ映像からジェスチャ制御を実現可能

め，講師が講義中に操作することも可能であり，または，である．

講師とは別の操作者が操作することも可能である．(b) で本システムでは，あらかじめアニメーションエディタ上は，動画には講義スライドおよび AR パペットのみが含までパーツの位置やボーンの角度のパラメータを設定しシスれる．図 8 は，AR パペットを仮想の講師とした動画作成テムに登録することで，演出として利用している．AR パの例である．講師は動画に含まれないため，解説音声によペットの演出効果作成において，パラメータを手入力で設る講義と AR パペットの操作のみを行う．(c) では，例え定および調整することは手間がかかる．そこで，教示を用ば講師役と生徒役の AR パペットによる対話形式の講義ないて演出効果を作成する手法を利用することで，この手間どが想定される．

を軽減できると考えた [7]．実物の人形を用いて動作の実演を行い，それを撮影することによって演出効果を作成す

6. 考察

る．ここでは，作成済みの演出効果を再生する機能として対話形式の講義に必要な演出効果の実現と，その操作方利用する場合と，リアルタイムに教示を行う場合が考えら法について考察を述べる．本システムでは，講師と AR パれる．

ペット間の挨拶と質疑応答という演出を実現するため，ポ本システムで用いた AR パペットの作成方法について説

インティング機能，演出再生機能を実装した．いずれも操明する．AR パペットは，2D 画像を利用したものと，3D作デバイスの画面をタッチすることで動作する．ポインモデルを利用したものの二通りを検討した．2D の AR パティング機能について，画面に表示されている講義スライ

ペットは，図 6 で示されるように，人形の写真から背景ドをタッチする操作はマッピングの観点において直感的でを切り抜いた画像を元に作成した．図 7 のように，頭，胴あると考えられる．しかし，ポインティング中は画面を操体，右腕，および左腕の 4 つのパーツに切り分け，それぞ作し続ける必要があるため，講師の動きが制限される．演れのパーツにボーンを設定する処理を行う．図 7 は，AR出再生機能についてはボタン入力をトリガーとしており，パペットが 4 つのパーツに分けられ，それぞれ 1 つのボーこれは非常に簡便な方法であるが，視認性や動きの制限のンを持っていることを示している．

問題がある．ボタンと対応する演出を視覚的に確認しやすAR パペットの利用方法について議論する．本システムを用いて動画作成を行う場合において，3 つの利用方法が© 2020 Information Processing Society of Japan

くするための解決策として，対応する演出のポーズを適用したパペットの画像を用いる方法が考えられる．

669

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

講師の動きが制限される問題に対する解決策として，5章で述べた通り，講師のジェスチャをトリガーとして演出を再生する方法が考えられる．この方法では，画面を目視

2B-49
2020/3/9[7]

H. Kataoka, T. Ozono, and T. Shintani: “Realizing anEﬀect Editor for AR Pop-up Picture Books by Teaching
Motions” IDDC2019, IEEE, pp. 989-994(2019).

する必要がなく，ビデオベースの姿勢推定技術により撮影機材を増やすことなく実現が可能である．しかし，正確さの問題や，状況によってはジェスチャを実行することで講義に影響を及ぼす可能性がる．また，講師はジェスチャを記憶することが望ましいため，ジェスチャと対応する演出のマッピングは直感的でなければならない．
また，AR パペットの見た目に関しての考察を述べる．
動画を視聴する生徒の好みに合わせて生徒が AR パペットの見た目を変更したい場合や，講義内容に合わせて講師が動画作成時に AR パペットの見た目を変更したい場合が想定される．複数の 3D モデルから選択できるようにする機能，人形の画像などを取り込み 2D の AR パペットを生成する機能などによって，見た目の変更が実現できると考えられる．

7. おわりにライブプレゼンテーションに基づく反転講義用動画作成において，講師の操作によって動作する AR パペットの開発について述べた．本システムは特別な機器を必要とせず，汎用的なモバイル端末のみで実行可能である．また，動画撮影中において，講師は操作用デバイスのタッチスクリーンによる入力で AR パペットを操作することが可能である．本システムは，撮影後の動画編集の手間を軽減することによって反転講義のための動画作成を支援する．
謝辞

本 研 究 の 一 部 は JSPS 科 研 費 JP16K00420,19K12097, 19K12266 の助成を受けたものです．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

松浦辰雄, 大囿忠親, 新谷虎松：反転授業における音声明瞭性を考慮した講義映像作成支援システムの開発, 第 16 回情報科学技術フォーラム, Vol.16, No.4, pp.81-84(2017)(FIT論文賞受賞).
N. Saquib, R. H. Kazi, L. Wei, and W. Li: “Interactive Body-Driven Graphics for Augmented Video Performance” Proc. CHI 19, ACM, Paper No. 622, 12p(2019).
F. Matulic, L. Engeln, C. Träger, and R. Dachselt:“Embodied interactions for novel immersive presentational experiences” Proc. CHI EA ’16, ACM, pp.17131720(2016).
H. Trinh, L. Ring, and T. Bickmore: “DynamicDuo: Copresenting with Virtual Agents” Proc. CHI 15, ACM,pp.1739-1748(2015).
大囿忠親, 落合裕也, 片岡瞳, 新谷虎松: AR 技術に基づく反転講義のための講義映像作成支援システムの試作, 日本
ソフトウェア科学会 第 36 回大会, MACC, 51-L, 6p(2019).
G. Papandreou, T. Zhu, L. C. Chen, S. Gidaris, J.
Tompson, and K. Murphy, Personlab: “Person pose estimation and instance segmentation with a bottom-up,part-based, geometric embedding model” Proc. ECCV,
17p(2018).

© 2020 Information Processing Society of Japan670