情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C3-9
2014/3/1

巻き戻し機能のある透視鏡のプロトタイプシステム
高瀬 凌平1,a)

山根 惠和1

岡部 正幸1

梅村 恭司1,b)

概要：授業や講義，会議等の場においてその風景を撮影し，講義者の体に対してのみ半透明化を施した撮
影映像をネットワーク上の別の端末へ送信する．受信端末上では専用アプリケーションにより現在及び過去の映像表示を行う．このシステムが板書内容を書き写す際に発生する「板書位置と講義者の体が重なっている間，受講者は板書内容を確認できない」並びに「書き写し終わる前に消された板書内容を受講者は確認できない」という二つの問題に対する有用な解決手法であることを報告する．

A Prototype Of Rewindable Transillumination Mirror
Takase Ryohei1,a)Yamane Yoshikazu1

Okabe Masayuki1

Umemura Kyoji1,b)

Abstract: Students need to take their notebook in various lectures. They suﬀer some diﬃculty when information on
blackboard is covered by lecturer or erased before they complete copying it on their notebooks. To remedy this situation, we have developed a system where the information on blackboard and silhouette of lecturer is broadcasted tosmartphone of students. With this system, the information can be seen through silhouette of lecturer and the past anderased information can be seen by individual operation on their smartphone.

1. はじめにできず，その後の説明に向ける注意が分散してしまう．また，書き写す前に消されてしまった板書内容を確認するす

授業や講義，会議の場において，その説明に黒板やホワべはない．生徒が板書内容を写し損ねたとしても，それにイトボードを用いることは十分に主流であると言えよう．

気づかない教師は授業を続けるため，結果として生徒は板切符，財布，辞書，写真，多くのアナログな情報にデジタル書を写すことを諦めざるを得ないのである．この過程は生化の波が押し寄せる昨今においても色褪せないこの手法*1

徒に授業への負担を増加させる．

に対し，本稿は焦点を当てる．

この問題を解決するため，本稿は黒板自体のデジタル化

なぜ黒板のデジタル化は進まないのか．これはひとえにではなく，黒板とは独立して動作する，黒板のデジタル化

電子黒板の導入が高額であるためだと言える．電子黒板とシステム「巻き戻し機能のある透視鏡」を提案する．同技はその名の通りデジタル化された黒板であり，黒板内容法は，授業風景の撮影映像に加工を施し，教師の体のみををデータとして扱うことでその保存，印刷，配信といった半透明化させるため，教師の動作を保持したまま遮蔽され様々な利便性を提供するものである．我々は，黒板のデジている板書内容の可視化が可能である．可視化された授業

タル化はこれだけで良いとは考えていない．黒板の利用に風景はローカルネットワークを通して他のエンドユーザへは，古典的な手法ゆえの問題がある．例えば，生徒と黒板送信され，ユーザ側では独自に作成したアプリケーションの間には必然的に教師が位置するため，板書箇所と教師のによって表示を行う．同アプリケーションには映像の逆行体が重なっている間，生徒は板書内容を視認できない．こ

機能を搭載しており，書き写す前に消されてしまった板書

れでは教師が板書を終えるまでに内容を写し終えることが内容を生徒に提供する．提案技法の一連の流れを 図 1 に

1

示す．

a)
b)
*1

豊橋技術科学大学
takase2@ss.cs.tut.ac.jp
umemura@tut.jp
文章の煩雑さを回避するため，以降では表記上においてのみ「教師が生徒に行う黒板を用いた授業」と状況を限定する．

© 2014 Information Processing Society of Japan665

表1フォーマット

パケットフォーマット
内容

ヘッダー部

元画像及び分割画像の通し番号

データ部

画像データ

フッター部

分割数

半透明人間カメラ [3] はこの Kinect を用いて教師の体に対してのみ半透明化を施すことが可能なため，授業風景の加工にはこの手法を利用する．
半透明人間カメラでは，Kinect より得られる RGB 情報と深度情報をもとに，ある時点の画像一枚を教師の体を指定する教師領域，教師以外の背景領域の二つに分別する．教師領域には，その領域が教師領域と分別される直前の背景領域でマスキングを行い，薄く色付けを行う．背景領域に加工は施さない．両領域の位置と加工結果を一定量 FIFO
図1

提案技法の流れ形式で保持することで，教師の体の部分には直近の板書内容が，それ以外には最新の風景が表示された，擬似的な半透明化が完成する．

2. シチュエーション

3.2 ローカルネットワークを介した加工画像の送受信

教師は黒板に板書することが効果的な授業，たとえば，一般的に，授業とは一人の教師と複数の生徒で構成され数学などの授業を行っているとする．昨今の携帯の普及状

る．その生徒数は小中学校であれば 40 人程度，大学とな況から，学生は，各自に携帯端末をもっており，無線 LAN

ればゆうに 100 人を超えることもあり，一意に決定できるに手元の端末で接続できるとすることは現実的である．教数ではない．本小節では，この教師と生徒の一体多関係を室には，備え付けの設備として，提案するシステムがあり，ローカルネットワークを介したマルチキャストにより解決それ専用のアクセスポイントが備えられているものとする．

する．

教師は，通常の黒板で授業するのとなんら変わりない

教室ごとにローカルネットワークを用意し，前小節で作準備で授業をする．そして，学生が板書を転記することを成した可視化画像のマルチキャストを行う．マルチキャス

仮定して，授業を組み立てるが，板書をしながら，書いたトはその性質上 TCP を扱えないため，送受信プロトコル事をその前で説明するということを行っているとする．そには UDP を採用する．また，一度に送信できるデータサして，適宜，黒板に書かれた文字を消して，次の情報を書イズは限られているため，送信する画像がそのサイズ以上き込むことをする．

で合った場合には，画像を分割して送信を行った．

この状況では，説明をするときに，板書の文字のかな同時に，送信機構の仕様に従うような受信機構を設計し，りの部分が見えないということがあり，教師が黒板を離れ受信を行う．ここで，UDP による送受信では送信パケットた，板書が見えたときに急いでノートをとることになる．のクライアント側へ到達は保障されない．送信順と受信順

それゆえ，板書から遅れてノートをとることになり，教師の整合性についても同様である．そのため，適切な送受信が黒板を消したときには，板書の書き写しが完了していなフォーマットを決め，UDP の信頼性のなさに左右されないことが想定されるものとする．

いパケットの管理が必要となる．本小節で送受信されるパ

3. システム概要

ケットはヘッダー部，データ部，フッター部の三つからなるフォーマットを持ち，各々には表 1 に従った内容を与え本節では，提案技法を構成する三つの主要機構についてた．また，受信が完了した，つまり同一の画像インデック説明を行う．ここで，映像とは時間軸にそって並べられたスを持つパケットが分割数だけ到着した場合のみその画像画像の集まりであり，非常に短い時間で映像はすなわち画を完成品として扱い，パケットが集まりきらない画像は一像である．よって，各小節において述べる処理等は画像一定の時間間隔を境に破棄した．これは，提案技法が提供す枚に対するものである．

るのはあくまで映像であり，局所的な画像な抜け落ちは映像全体が持つ情報量には影響を与えないためである．

3.1 半透明人間カメラによる授業風景の加工
Microsoft 社が提供する Kinect は，RGB 情報に加え深度情報を提供するカメラである．山根らによって提案された© 2014 Information Processing Society of Japan

3.3 受信映像の表示及び逆行
前小節で説明した受信機構の実装には，専用のアプリ

666

図2

教師の体のみが半透明化された状態

図4

端末上での受信（上部），及び逆行（下部）解決したと言える．教師に体によって遮蔽されている部分は，提案技法によって可視化された．また， 図 4 のように過去の授業風景を遡って閲覧できるため，見返したい，も図3

ポインティング先は透明化させない

しくは見逃した過去の板書内容を問題なく確認することができた．

ケーションが必要となる．本小節で述べるのは，作成した専用アプリケーションの概要及び搭載した映像逆行機能に5. 実装経験ついてである．アプリケーションの実装先をスマートデバ

前節の通り可視化自体は成功したが，可視化された部分イスとした提案技法では，android 端末でのプロトタイプをの視認性に焦点を当てかえると，それは高いとは言えない作成した．

ものであり，画像上では表現できていないが教師と背景のアプリケーションにはまず，前小節の受信機構を搭載す境界に存在するジャギー，ちらつきが視認性の低下を招いる．送信側が画像の保持を行わないのに対し，受信側であていた．これは，撮影映像から講義者の体のみを半透明化る本アプリケーションでは一定量の画像を FIFO 形式で保する際に，Kinect が提供する深度情報の不安定さや予測困持している．これは後述する逆行機能実装に伴うものであ難な実世界の光量が，正確な教師の捕捉を阻害するため生る．受信が完了した画像は，適切なリサイズを行った上でまれるものである．

逐次ディスプレイ上部に表示する．これによりディスプレ

また加工画像の送信方法にマルチキャストを採択していイ上部では，「教師の体によって板書内容が遮蔽されるこるが，映像通信によるネットワークの逼迫を考慮すると，とのない授業風景」が実現される．

専用の小規模なローカルネットワークを用意する必要がディスプレイ下部には，「過去の授業風景」を設置する．

あった．

受信が完了している最近の画像を一枚表示し，単純な二，その他，受信端末のディスプレイサイズに対して板書さ三の端末操作に保持画像のページめくり，逆行のリセットれた文字が小さすぎる場合，可視化の可否によらず内容がを割り当てることで，保持している画像量だけの過去を簡確認できないという問題も発生した．これは高解像度での単に逆行することができる．

撮影と端末側での拡大が必要であることを意味しており，

4. システムの動作状況
動作状況を 図 2 図 3 図 4 に示す．

今後実装したい．

6. 既存システムとの比較「板書位置と講義者の体が重なっている間，受講者は板提案技法のメリットはおおよそ電子黒板によって実現さ書内容を確認できない」という問題は， 図 2 図 3 の通りれるかもしれない．例として，板書スペースが可動式であ© 2014 Information Processing Society of Japan667

る電子黒板 [1] を上げる．同品は表面と裏面という二つのよって遮蔽されることのない授業」を提供した．また，見板書スペースを持ち，表面は通常の使用，裏面は情報の保返したい，もしくは見過ごした板書内容を確認する手段も持に使われる．また，表面と裏面が切り替わる際，板書内同様に提供した．提案技法のシステムは，その正常な動作容がスキャナによってデータ化可能となっている．同品のにおいて講義者の考慮を一切必要としない．講義者は普段裏面の存在は，本稿が提起する書き写す前に消された板書と変わりない授業を行うことができる．受講者に関して内容を確認できないという問題をかろうじて解決していも，各自の携帯電話にアプリケーション一つをインストーると言えよう．しかし，一人の生徒が裏面の確認，つまりルするだけで提案技法を利用することができる．

過去の板書内容を確認しようとすると，生徒全員に対し表今後の展望としては，アプリケーションをラックトップ面を隠す必要がある．また，保持できる過去は板書スペーや android 以外の携帯端末にも対応させ，撮影の解像度をス一枚分のみである．これはあまり現実的な解法とは言え上げる．端末側での画像の拡大なども今度の課題である．

ない．また，板書内容と音声を記録，インターネット上へ配信，特定の端末間で共有することができる既存のサービ

8. 参考文献ス [2] を併用すれば，教師による遮蔽がない授業を複数の参考文献生徒に与えることも可能である．しかしこの授業には，教[1]師の姿がない．教師の動作というものは有益な情報であり，教師のジェスチャやポインティングという補助情報が[2]あるからこそ難解な板書内容を理解し得る状況は多く存在する．この情報の損失を防ぐため，提案技法では教師の体のみを半透明化するという一手間を加えている．これら点において提案技法は，電子黒板の利用にはないメリットを[3][4]持っている．
書き込み，保存といった電子黒板への操作をマルチタッ[5]

チ機能にて実現し，腕や体の移動を最小限に抑えることで，板書内容の遮蔽を低減するソフトウェア [4] も存在する．

[6]

この技法であれば授業風景のアナログデジタル変換自体が不必要となり大幅なハードウェアリソースの削減につなが[7]

るが，板書内容の遮蔽はあくまで低減されるにとどまり，[8]完全な防止には至らない．

エ プ ソ ン 製 品 ペ ー ジ. フ ィ ル ム ボ ー ド ス タ ン ダ ー
ド タ イ プ UB-5335, http://panasonic.biz/doc/eboard/filmfeature.html 2012/11/20.
シャープ 製品ページ. 電子黒板用録画・配信システム「ｅトーキー」, http://www.sharp-sbs.co.jp/bigpad/etalkie.html,
2012/11/19.
山根恵和, 岡部正幸, 梅村恭司, 講義中の板書を支援する人
物半透明化カメラの実装, WIS2013（掲載予定）
永野直, 栗原一貴, 渡辺裕太, 藤原裕一, 皆月昭則, 林秀彦.
マルチタッチ電子黒板による教材提示性能の改善, 鳴門教育大学情報教育ジャーナル No.7, pp. 23-27, 2010.
前田晴己, 黒澤祐也, 栗原一貴, 宮下芳明. スクリーン前でのプレゼンテーションスタイル, WISS2011, pp. 164-166,2011.
若松翔, 梅村恭司, 岡部正幸. 話者の深度画像を活用するプ
レゼンテーションツール, WISS2012, pp. 169-170, 2012.
大島裕樹, 宮下芳明. 過去の状態をちょっと覗き見る時間の窓, WISS2012, pp. 183-184, 2012.
熊谷摩美子, 梅村恭司. 体験情報に関する検索パラダイムの実証研究, WISS2009, pp. 147-148, 2009.

本稿が提起する二つの問題には，別方向からのアプロー
チも存在する．例として，前田らによって提案されたプレゼンテーションツール [5] では，スクリーン上の内容が発表者の体と重ならないよう動的に配置を変更する．若松らによって提案されたプレゼンテーションツール [6] では，Kinect より得られた深度情報を元に発表者のシルエットをスクリーン上に埋め込む．これら二つの技法は，結果として教師による板書内容の遮蔽を防止する．また，大島らにより提案された過去の状態をちょっと覗き見る時間の窓 [7]や熊谷らにより提案された体験情報に関する検索パラダイ
ムの実証研究 [8] では，時間軸にそってコンピュータの画面をキャプチャし続けることで，ある時点からの過去の振り返りを実現している．このように，本稿の提起する二つの問題は多面的に見れば多く取り組まれている問題である．これらの先行研究は問題の発生源を既にデジタル化されているものと仮定しているが，提案技法では黒板を用いた授業というアナログな事象おいて解決を提供する．

7. おわりに
提案技法は，受講者に対して「板書内容が講義者の体に© 2014 Information Processing Society of Japan668