1
日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集

ジェスチャーで操作可能なスライドオブジェクトに基づくプレゼンテーション支援システムについて
山田 裕之

丹羽 佑輔

白松 俊

大囿 忠親

新谷 虎松

本研究では，ジェスチャーで操作可能なスライドオブジェクトに基づいたプレゼンテーションの効果的な支援を実現するインタフェースを作成した．本システムでは，発表者の手の動きをジェスチャーとして認識することで，スライドオブジェクトの移動，消去，拡大，縮小といった操作が可能である．発表者のジェスチャーをスライドオブジェクトに反映することで，聴講者の理解度の向上と注意の惹きつけを実現する．本論文では，プレゼンテーション中の発表者によるスライドオブジェクトの操作に基づいたプレゼンテーションの効果的な支援手法について述べる．

ブジェクトの操作が可能になる．また，本研究では，

1 はじめにスライドオブジェクトを操作するための入力方式とし

本研究では，発表中のスライド資料に含まれるテキてジェスチャー入力に着目した．コンピュータを手やストや図形などのオブジェクトを自由に移動したり，指で直接操作する際，現実世界での操作感覚に加え追加削除することを可能にすることで，臨場感のあるて，実世界の行為とコンピュータ世界の反応の一致がプレゼンテーションを支援するための新たなプレゼ必要である [11]．操作可能なスライドオブジェクトは，ンテーション支援システム SilhouetteEﬀects を実装

ユーザが容易に連想できるジェスチャー入力を用いるした．ここではスライド内のオブジェクトを，スライことで，発表者にとって使いやすいシステムとする．

ド作成中で無く発表中に移動，拡大縮小，消去，およ

本論文では，2 節で，プレゼンテーション支援シス

び，アニメーションエフェクトの付加することを可能

テムにおけるスライドオブジェクトの操作に至った背にすることを目指している．ここでは，このように発景とその利点および，スライドオブジェクトの操作表中に操作可能なスライド内のオブジェクトを操作とジェスチャー入力によるプレゼンテーション支援シ可能なスライドオブジェクトと呼ぶ．図 1 に，スラステムの実現手法について述べる．3 節では，実際にイドオブジェクトの操作例を示す．操作可能なスライ

本システムの使用者から出たフィードバックに関してドオブジェクトの実現によってスライドがインタラク考察する．4 節では，本研究に関連する研究を紹介すティブなコンテンツとなり，プレゼンテーションスタる．最後に，本論文のまとめと今後の展望について述

イルの幅が拡がると考えている．本システムを用いべる．

ることで聴講者の注目を集めたり，注目点を明確化，アニメーション設定なしに説明に合わせたスライドオ

2 プレゼンテーション支援システム
プレゼンテーションにおいて聴講者の注目を集め，Realizing a Presentaion Support System Using Gestures with Manipulatable Slide Objects
Hiroyuki Yamada，Yusuke Niwa，Shun Shiramatsu，Tadachika Ozono，Toramatsu Shintani, 名古屋工業大学大学院情報学専攻, Dept. of Computer Scienceand Engineering, Graduate School of Engineering,
Nagoya Institute of Technology.

また焦点を制御するためにアニメーションを利用することがある [5]．OHP シートを用いたプレゼンテー
ションでは，OHP シート上に別の OHP シートを重ねることで，自由に動かせるオブジェクトを表現することができた．本研究では，PowerPoint において

日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集2図1

スライドオブジェクトの操作例． その場でスライドオブジェクトを掴んで移動できる．

OHP シートを用いたプレゼンテーションのような，自由に動かせるオブジェクトを実現している．ここで

図2

PowerPoint 操作を担う

PowerPointController の構成．のオブジェクトの動きの目的として，特定のオブジェクトへの注目を集める動き，および，オブジェクトのtroller が取得する．図 2 に，PowerPointController の注目を集める準備としてオブジェクトを片付ける動き

構成図を示す．PowerPointController は，SlideShow-の 2 種類の目的がある．特定のオブジェクトへの注目

Controller，ShapeController，AnimationEﬀectsLi-を集める動きとしては，オブジェクトの移動・コピー

brary から構成される．SlideShowController はスラや，オブジェクトへのアニメーション付加が挙げられイドショーの操作を，ShapeController はスライドオる．オブジェクトを片付ける動きとして，全オブジェブジェクトの操作を担当している．AnimationEﬀect-

クトを画面の下に移動する動きなどを実現している．

sLibrary では，スライドオブジェクトに追加するアニ

全オブジェクトを画面の下に移動した後に，注目を集メーションの設定情報を管理している．ユーザは，スラめたいオブジェクトを順次移動することで，オブジェイドオブジェクトの選択の起点となるポインティングクトへの注目を制御することが可能になる．とスライドショー，スライドオブジェクトを操作する

本プレゼンテーション支援システムでは，大きく分ためのトリガーを入力として PowerPointController

けて (1) スライドオブジェクトの操作機能，(2) ジェに与える．PowerPointController は，InputAnalyzer

スチャーに基づくプレゼンテーション操作機能，およを通してポインティングやトリガーとなる入力からび，(3) コミュニケーション支援機能の 3 機能を実現

対応する PowerPoint 操作を実行する．PowerPoint

している．以降，各機能について説明する．

操作は，スライドショーの操作，スライドオブジェク
トの操作に分かれる．スライドショーの操作は，次の2. 1 プレゼンテーションにおけるスライドオブジェクトの操作

スライドへ進む，前のスライドへ戻る，ポインタの表示が可能である．スライドオブジェクトの操作は，本システムの実行環境は，OS が Windows 7，プレスライドオブジェクトの移動，消去，拡大／縮小，アゼンテーションソフトとして Microsoft PowerPoint

ニメーションエフェクトの追加が可能である．スライ2010 がインストールされた PC である．本システムをドオブジェクトに追加可能なアニメーションは，トリ起動すると，PowerPointController のスライドショーガーに対応するアニメーションを設定することがで開始を検知するスレッドが起動する．ユーザがスライドきる．例えば，マウス入力においてスライドオブジェショーを開始すると，スライドショーとして開かれたプ

クトをダブルクリックした時，スライドオブジェクトレゼンテーションファイルの情報を PowerPointCon-がバウンドするアニメーションを再生したり，ショー日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集

図4

3

スライドオブジェクトの移動例．ユーザが Grip を開始した地点にある緑色の四角形を移動している．

でき，SwipeRight ジェスチャーで前のスライドに戻ることが可能である．また，Push ジェスチャー後にGrip することで，ポインタを表示することができる．
図3

ジェスチャー入力を利用したプレゼンテーション支援システムの構成図．

Grip してから GripRelease するまでの間，ポインタが表示される． 図 4 にスライドオブジェクトの移動例を示す．移動させるスライドオブジェクトは，ユートカットキーをトリガーとしてスライド中にある全てザが Grip を開始した地点にあるスライドオブジェクのオブジェクトを下に落下させるといったことが可能トである．ユーザは，Grip してから GripRelease すである．

るまでの間，スライドオブジェクトを移動可能である．図 5 にスライドオブジェクトの拡大／縮小を示

2. 2 プレゼンテーションにおけるジェスチャー

す．スライドオブジェクトを掴んだ後に，もう一方のコンピュータサイエンスにおけるジェスチャーとは，手を Grip にし，スライドオブジェクトを両手で掴ん意味のある体の動きである [10]．ジェスチャーを入力だまま，手と手の間の距離を変化させることで，スラ方式として用いる理由は，直感的なインタフェースイドオブジェクトを引き伸ばしたり，縮めることが可を構築できる点にある [9] [6]．加えて，プレゼンテー能である．スライドオブジェクトの消去は，スライドションにジェスチャー入力による操作を取り入れるこ

オブジェクトをスライドショーの表示範囲外への移動とで，聴講者の目を惹きつけることができる．ジェスとする．Grip，GripRelease によるスライドオブジェ

チャー入力によるインタフェースを設計する上で重クトの操作は，日常生活における物を掴む，物を掴要なことは，ユーザが連想したジェスチャーが反映んで引き伸ばすといった動作と対応している．ジェスされたコンピュータの挙動が一致していることであチャー入力に対応するスライドオブジェクトの動作

る．本システムで使用するジェスチャーは５種類あ

は，ユーザにとって連想しやすいものを割り当てた．

る．空中で手を握る動作である Grip，握った手を開本システムでは，ユーザの体の動きを捉えるセく動作である GripRelease，手を前面に押し出す動作

ンサーデバイスとして Microsoft 社が発売しているである Push，腕を左方向に振る SwipeLeft，腕を右Kinect for Windows を使用している．Kinect は，入方向に振る SwipeRight である．Grip，GripRelease

力デバイスを持ったり身につけたりする必要がなく，は主にスライドオブジェクトを操作するために使ユーザが見える位置に Kinect を設置するだけで容易用する．詳しくは次節で述べる．本システムでは，に使用することができる．Kinect はユーザに対してSwipeLeft ジェスチャーで次のスライドに進むことが正面であることが望ましい．ジェスチャー入力を用日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集4

図5

スライドオブジェクトの拡大／縮小例． ユーザが両手で Grip を開始した地点を基準として 左手右手の距離に応じ，緑色の四角形を拡大／縮小している．

いた場合の実行環境は，Kinect を扱うためのライブラリである KinectSDK がインストールされた環境である．

図6

トリガーと PowerPoint 操作の対応関係

本システムは，Kinect から得たデータの処理を担当する KinectController と，PowerPoint 操作を担当ン操作を割り当てている．トリガーが発火すると，対する PowerPointController から構成される．システ

応する PowerPoint アプリケーション操作に必要なム構成図を，図 3 に示す．スライドショーが開始され情報を PowerPointController に伝える．トリガーとると同時に，KinectController が起動し，ユーザは両PowerPoint 操作の対応関係を図 6 に示す．

手を入力デバイスとして，PowerPoint およびスライ

PowerPointController は，PowerPoint Object Li-

ド中のスライドオブジェクトを操作できる．Kinect-brary を介して PowerPoint を操作するコントローラ

Controller は，ユーザの両手を認識し，手の動きからである．PowerPoint 操作としては，片手 SwipeLeftジェスチャーを認識する．PowerPointController は，と片手 SwipeRight をトリガーとしたページめくりジェスチャーに対応した PowerPoint の操作を実行す（次のスライドへ進む／前のスライドへ戻る），片手る．これより各コントローラにおける処理について詳

Grip をトリガーとしたスライドオブジェクトの移動，しく述べる．

両手 Grip をトリガーとしたスライドオブジェクトのKinectController は ，Kinect か ら 得 た デ ー タ をKinectSDK を介して，ユーザの手の位置情報と手拡大／縮小，片手 Push 後に片手 Grip をトリガーとしたポインタの表示がある．のジェスチャー（None，Grip，GripRelease，Push，操作可能なスライドオブジェクトは，ユーザが片手SwipeLeft，SwipeRight）を取得するコントローラ

を Grip した時の座標点を領域内にもつスライドオブである．取得した手の位置座標は，Kinect がもつジェクトである．スライド上で複数のスライドオブ独自の座標系に基づくため，スクリーン座標系へ変ジェクトが重なっている場合は，最も前面に配置され換したものを手の位置として画面に表示し，ユーザているスライドオブジェクトを選択する．選択されたに手の位置を伝える．取得した手のジェスチャーは，スライドオブジェクトは，手の位置の移動量により変PowerPoint 操作のトリガーとなる．トリガーとし化する．スライドオブジェクトの移動は，手の位置にては，片手 Grip，両手 Grip，片手 Push 後に片手対応した平行移動である．ここで，スクリーン座標系

Grip，片手 SwipeLeft，片手 SwipeRight がある．1における手の位置情報，スライドオブジェクトがもつつのトリガーには 1 つの PowerPoint アプリケーショ座標系に変換する必要がある．スクリーン座標系に変日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集

5

換した手の位置座標を，スライドショー座標系に変換する．スライドショー座標系への変換のために，スライドショーが表示されない黒塗りの領域部分を求める，PowerPoint のスライドが独自に持つ座標系に変換する．スライドオブジェクトの拡大／縮小は，両手Grip に遷移した時点の手の位置を基準として，両手の間の距離を広めるたり，縮めるたりすることでスライドオブジェクトの拡大縮小率を決定している．
ユーザの手によるポインティングは，手の精確な位置検出が重要であると共に，ユーザにとって意図した位置へのポインティングでなければならない．ユーザ

図7

スライド上への質問・コメントツイートの表示例．

が意図するポインティング位置と画面に表示されるポ3 考察

インティング位置のズレの原因としては 2 つの理由機能の追加を希望する意見としては，スライドオブが考えられる．1 つは，Kinect の誤認識によるズレジェクトの複製やスライドオブジェクトをスライド間である．もう 1 つは，ユーザが無意識にズラしてしで移動させたいといった意見があった．これらの操作まった時のズレである．これら常に発生しうるポインをプレゼンテーション中に，インタラクティブ行うこ

ティング位置のズレに対して，本システムは過去の手とでプレゼンテーションスタイルの幅がより拡がるとの位置情報を考慮することで，ズレを極力抑える．1

考えられる．Kinect は複数人の手の動きを認識でき秒間に 30 フレームの処理機能を持つ Kinect から送ることから，スライド上をワークスペースとして複数られてくる手の位置情報を 5〜10 フレーム分蓄積し，人で協調作業することも可能である．また，スライドその中央値をポインティング位置とする．

上への付箋オブジェクトの追加，保存機能がほしいという意見もあった．Kinect に備わる音センサーを用

2. 3 Twitter との連携と同期機能

いて，ジェスチャーで PowerPoint を操作しつつ，人本システムでは，聴講者の理解度の向上を促進させの音声で付箋を入れる機能ならば，発表者と聴講者双ると共に，聴講者から発表者へフィードバックを与え方は，PC を意識することなく PowerPoint 操作が行る機能をもつ．Twitter と連携し，あらかじめ指定しえる．本システムでは，過去の手の位置情報を考慮したハッシュタグを持つツイートをスライドオブジェクてポインティング位置を決定している．この時，何フトとして画面隅に表示することで，聴講者は発表者へレーム前までの手の位置情報を考慮するかについて，質問やコメントが可能である．スライド上へのツイー考慮するフレーム数が異なるプログラムを実際に使トの表示例を図 7 に示す．発表者は，質問やコメントい，比較した．スライドオブジェクトを素早く動作さに応じてインタラクティブにスライドオブジェクトをせるシーンにおいては，考慮するフレーム数が小さい操作し，聴講者の理解度を向上させることが可能であ方が良く，スライドオブジェクトの精確な配置を求める．ツイートは，スライドオブジェクトと同様に操作るシーンでは，フレーム数を大きくする方が良い結果が可能であり，表示／非表示の切り替えもできる．聴が得られた．しかし大きすぎるとあるところで操作性

講者から得たツイートは，PowerPoint のノートとしが落ちた．ユーザが求める操作によってフレーム数をてプレゼンテーションファイルに保存できる．本研究変更できるシステムを実装する必要があると考える．

室で開発したペーパレス会議システム Wisdom Web

Conference とも連携し，発表者，聴講者双方で閲覧しているスライドページおよびポインタを同期する．

4 関連研究
ここでは，手や指による入力方式を採用したプレゼンテーション支援システムおよびその研究を紹介す日本ソフトウェア科学会第 30 回大会 (2013 年度) 講演論文集

6

る．Shoemaker らは，透視投影を利用したユーザのスを作成した．ジェスチャーによる PowerPoint 操作

影によるポインティングシステムを実現した [1]．ユー

およびスライドオブジェクトの操作では，目的となるザの立ち位置と光源を変えることで，巨大なディスプ操作に対してユーザが容易に連想できるジェスチャーレイへのポインティングも可能である．ユーザ自身を用いることで，発表者にとって使いやすいシステムの影による操作であるため，操作方法を理解するこにした．とが容易であると述べている．塚田らの Ubi-Finger
は，指にセンサーを装着することで，指を使ったジェ参 考 文 献

スチャー入力インタフェースを実現した [2]．ダイナ[1] G. Shoemaker, A. Tang, and K. S. Booth.:Shadow reaching: a new perspective on interaction for large displays, In UIST ’07: Proceedingsof the 20th annual ACM symposium on User interface software and technology, pp. 53–56, 2007.
[2] Tsukada, K. and Yasumura, M.: Ubi-Finger: Gesture Input Device for Mobile Use, Proceedings ofAPCHI 2002, Vol. 1, pp. 388–400, 2002.
[3] 山田裕之，白松俊，大囿忠親，新谷虎松：スクリーン
仮想タッチを実現したプレゼンテーション支援システムとそのセットアップの効率化，情報処理学会第 74 回全国大会論文集，No. 4，pp. 253–254，2012．
[4] 前田晴己，黒澤祐也，栗原一貴，宮下芳明：MAEDE:ス ク リ ー ン 前 で の プ レ ゼ ン テ ー ション ス タ イ ル ，WISS2011，第 19 回インタラクティブシステムとソフトウェアに関するワークショップ論文集，pp. 164–166，2011.
[5] Maria Jos M. Ferreira.: Intelligent classrooms andsmart software: Teaching and learning in todays university, Education and Information Technologies, Volume. 17, Issue. 1, pp. 3–25, 2012.
[6] Radu-Daniel Vatavu.: On designing interactivity
awareness for ambient displays, Multimedia Toolsand Applications, Volume. 66, Issue. 1, pp. 59–80,2013.
[7] Chun-Yen Chang, Yu-Ta Chien, Cheng-Yu Chiang, Ming-Chao Lin, Hsin-Chih Lai.: Embodying gesture-based multimedia to improve learning,
British Journal of Educational Technology, Volume. 44, Issue. 1, pp. E5-―E9, 2013.
[8] 村田雄一，栗原一貴，望月俊男，志築文太郎，田中二郎：ペンの影を重畳表示するプレゼンテーションツー
ルにおける影のデザイン，HCI 研究会報告，Vol. 10，
pp. 1–5，2010．
[9] Radu-Daniel Vatavu.: Interfaces That Should
Feel Right: Natural Interaction with Multimedia Information, Recent Advances in Multimedia Signal
Processing and Communications Studies in Computational Intelligence Volume. 231, pp. 145–170,2009.
[10] Kurtenbach,G.,Hulteen,E.:Gesture-Based Communication in Human-Computer Interaction, The Art
of Human Computer Interface Design, pp. 309-―
317, 1990.
[11] 暦本純一：実世界指向インタフェース : 実空間に拡張された直接操作環境 (¡特集¿仮想と現実の融合)，情報処理，Vol. 43，No. 3，pp. 217–221，2002．

ミックな動きのジェスチャーをプレゼンテーションで取り入れることで，視覚的なインパクトや臨場感が生まれ聴衆の注目を集めることができるとしている．

Chun-Yen Chang らの研究では，マルチメディア教育の場面においてジェスチャー入力が有用であることを示している [7]．前田らは発表者の輪郭データを利用して，発表者とスクリーンが近いシーンにおいて，スライドオブジェクトが発表者によって隠される問題を解決している [4]．発表者がスクリーン前方に立ち，ジェスチャー入力によりスライドオブジェクトにアニメーションを与えることが可能である．発表者とスクリーンが一体となることで聴講者の視点を一点に集めることができる．村田らの研究では，発表者の動作をプレゼンテーションの流れを追う手助けとして利用出来ると述べている [8]．発表者の説明とスライドオブジェクトの動きが一致することで，聴講者に注目点を明示できる．先行研究では，ジェスチャー入力とスクリーンへのタッチ入力を組み合わせたプレゼンテーション支援システムを実現している [3]．スクリーンを仮想的にタッチ検出可能なデバイスとして利用することで，発表者はスクリーンにあるアイコンを直接触れる感覚があると共に，聴講者にポインティング位置を明示できるシステムである．

5 おわりに
本研究では，発表者が聴講者の注意を制御することを容易にするシステムとして SilhouetteEﬀects を実現した．操作可能なスライドオブジェクトの実現によってスライドがインタラクティブなコンテンツとなり，発表者は，臨場感が高いプレゼンテーションをすることが容易になった．また，Kinect を用いたジェスチャ入力により，直感的に操作可能なインタフェー