WISS2013

講義中の板書を支援する人物半透明化カメラの実装
山根 恵和

岡部 正幸

梅村 恭司 ∗

概要. 通常，講義などの場において，黒板やホワイトボードを用いて説明を行うという形式がとられている．ここでの問題は，講義者が黒板やホワイトボードに文字や図を書いているとき，講義者と文字が重なる際に，受講者からは，黒板の文字が見れなくなることである．そこで本システムでは，受講者が，講義者および講義者により遮られた文字を同時に見ることができる「半透明人間カメラ」を提案する．文字や図が書かれた黒板と半透明化を施した講義者の映像を別スクリーンへ出力することで，受講者はそのスクリーンを見るだけで講義者により遮断されて見ることが不可能であった文字や，講義者の説明箇所を正確に把握することが可能となる．

1

はじめに

講義や会議などの場では，黒板やホワイトボードを使用した説明が主流である．最近では電子黒板な
どの電子ボードも注目を集めているが，いずれも講義者が文字や図を書く，または書いたものを説明するときに，講義者の手や身体により文字や図が遮蔽されてしまい受講者から見えなくなる問題がある．
電子ボードを扱う場合には，書き込みや保存などの機能の切り替えをマルチタッチで行うことで，腕や体の移動を最小限にして文字や図の遮蔽を防止するソフトウェアがある [1]．しかし，この方法では，講義者の様子は見ることができるが，電子ボードの前に講義者がいることで遮蔽された文字を見ることができない点や，電子ボード以外では適用できない点が挙げられる．このような問題を解決するために，本システムでは受講者が講義者によって遮られた文字と，講義者の動きを同時に見ることができる「半透明人間カメラ」を提案をする．このシステムにより，深度情報により講義者を判別して半透明化を行い，スクリーンに出力することで，受講者は，スクリーンを通して講義者の陰にある文字および講義者の様子を同時に把握することが可能となる (図 1)．

2

既存システムの問題

Kinect を用いて人物を認識し，その部分を背景画像によりマスクすることで人間の透明化を行うシステムが存在する [2]．しかし，このシステムでは，講義者を透明化するときに講義者の輪郭が残ってしまう問題や，背景画像の更新がないので透明化された領域では黒板の文字が更新されないという問題がある．また，講義者の容姿を完全に消去することは，∗

Copyright is held by the author(s).
Yamane Yoshikazu and Umemura Kyoji, 豊橋技術科学
大学 情報・知能工学系, Okabe Masayuki, 豊橋技術科学
大学 情報メディア基盤センター

図 1. 半透明人間での講義それを見ている受講者にとって不自然であり，注意が散漫してしまう恐れがある．そこで本システムでは，講義者のいる領域を拡大した後，講義者の消去および色付けを行うと共に，講義者以外の領域を常時更新するというアプローチを図った．

3システムの概要

図 2 に本システムの構成を示す。本システムは，カメラにより RGB・深度情報を取得し，取得した情報を基に PC により講義者を半透明化を施した後，スクリーンに出力する処理をリアルタイムで行う．
システム起動時，カメラには黒板が画面中央に映るように，カメラを配置する．なお，システム起動時に，背景領域と判断するための距離を決定するため，講義者は画面に映らないようにする．PC では，取得された深度データにより，講義者をマスクする領域と，黒板や文字などの背景領域を判別し，講義者の半透明化および黒板に書かれた情報の更新を行う．
PC により講義者が半透明化された映像は，スクリーンや外部モニタなどに出力される．受講者は，出力された映像を見るだけで瞬時に，黒板の文字と講義者の様子を捉えることが可能となる．

WISS 20134.2

図 2. システム構成

4システムの実装

本システムは，入力装置として Microsoft 社のKinect を用いて実装を行った．kinect により取得した深度データを基に，マスク領域と背景領域を割り当てるが，その方法として，深度データの閾値を用いて領域を判定した．深度データの閾値の決定は，画像中央付近の深度データを優先的にサンプリングし，それらの平均値により決定しているので，黒板がカメラ画面の中心にある場合，カメラと黒板の間の距離が閾値となる．ある画素における深度は，閾値以上であれば背景領域，閾値未満であればマスク領域として割り当てられる．なお，背景領域は黒板やホワイトボードなどに相当し，背景画像として随時更新する領域である．また，マスク領域はカメラと黒板の間に存在するオブジェクト (講義者など) に相当し，そのオブジェクトの背景領域によりマスクを行い，オブジェクトを色付けすることで半透明化を行う領域である．最新の画像に対して，それぞれの領域に応じた処理を行うことで，講義者を半透明化することが可能となる．

4.1

深度画像の分割

Kinect からの各種情報は 30fps で取得しているが，各フレームに対してすべての画素を探索し，1pixelごとの処理を行うことは，メモリ使用量が多くなることや，計算時間が増加することで処理が重くなるため現実的ではない．そのため，pixel ごとの深度データをいくつかのブロックにまとめることで，扱う画素を減少させた．なお，1 ブロックは 10 × 10 ピ
クセルとして深度画像の分割を行い，各ブロック内でサンプリングデータを選ぶ．そして，そのブロックが背景領域またはマスク領域のどちらに属するのかを多数決を行うことで決定し，各ブロックの値を背景領域またはマスク領域に割り当てる．これにより，領域の割り当てを高速化することができるので，講義者の半透明化および背景の更新をリアルタイムで処理することが可能となる．

マスク領域の拡大

領域を割り当てた際に，背景更新領域とマスク領域の境界面である講義者の輪郭部分が，領域の誤分類により半透明処理されずに表示されてしまう．例
えば，図 3 左中央の丸で囲んだ部分のように，腕や手にマスク領域の割り当てがない箇所が存在するので，この部分が消去されずに残ってしまう．そこで，マスク領域の拡大を行うことで問題を解決した (図3)．本システムでは，余分にマスク領域の割り当てを行っても，半透明化の際にオブジェクトのみを色付けするため，システムの動作に影響はしない．深
度データにより割り当てられたマスク領域に対して，それぞれ 8 方向に 1 ブロックだけシフトしたマスク領域を作成し，それらの論理和を取ることでマスク領域の拡大の実装を行った．マスク領域を拡大することで，講義者を消去する領域が広がるため，輪郭を残すことなく講義者を消去することができる．マ
スク領域により消去した後，オブジェクトに色付けを行うことで半透明化することができる．

図 3. マスク領域の拡大．(左):元画像，(右):オブジェ
クトの色付け5まとめ

本研究では，講義などの場において，受講者が，講義者によって遮られた文字と，講義者の様子を同時に見ることができるシステムの開発を行った．既存のシステムにおける，透明化した際に講義者の輪郭が表示されてしまう問題や，講義者の様子が把握不可能になる問題，および背景が更新されない問題に対して，マスク領域の拡大と色付け，背景領域の常時更新を行うことにより解決した．本システムによって講義者の半透明化を行うことにより，実際の講義などの場で，講義者により遮断されて見ることが不可能であった文字，および講義者の様子を見ることができる画期的な講義が可能となる．

参考文献[1] 永野直, 栗原一貴, 渡辺裕太, 藤村裕一, 皆月昭則,
林秀彦. マルチタッチ電子黒板による教材提示性能の改善, 鳴門教育大学情報教育ジャーナル No.7,pp. 23–27, 2010.
[2] 中村薫, 田中和希, 宮城英人. 秀和システム. Kinect
for Windows SDK プログラミング C# 編, pp.
153–162, 2012.