情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A102015/3/5

モーションセンサを利用したプレゼン時のPowerPoint スライドオブジェクト操作環境の実現
塚本 正太1

丹羽 佑輔2白松 俊2

大囿 忠親2

新谷 虎松2

概要：本研究では，PowerPoint 上のスライドオブジェクトをジェスチャにより操作可能なプレゼンテーションツールを実装している．ここでは，モーションセンサとして，Leap Motion を用いることで，両手を利用可能なプレゼンテーションツールを実現した．さらに，モーションセンサの認識範囲がプレゼンテーションにおける制約となる問題を解消するために，プレゼンテーションに適したモーションセンサの装着方法について検討した．本稿では，モーションセンサに基づくスライドオブジェクト操作機構，およびモーションセンサの装着方法について述べる．

Realizing a Presentation Support Mechanism
for Manipulating PowerPoint Slide Objects based on a Motion Sensor
Tsukamoto Shota1

Niwa Yusuke2 Siramatsu Shun2
Shintani Toramatsu2Ozono Tadachika2

Abstract: We have been developing a presentation support tool based on a slide object manipulation mechanism using a motion sensor. Our system enables us to use both hands for editing slide objects by using theLeap Motion in the presentation mode of PowerPoint, which can track both hands and fingers. We studied
how to equip a motion sensor with a presenter in order not to restrict presentation behavior. This paper
shows the implementation of slide object manipulation mechanism based on a motion sensor and a methodto equip motion sensor in a presentation.

1. はじめにる．また，聴講者の理解度に合わせたスライドオブジェク
トの動きを提示することが可能になる．本研究アプローチ

本研究はモーションセンサに基づく両手によるスライドの特筆すべき点は，プレゼンテーション時に，PowerPointオブジェクトの操作が可能なプレゼンテーション支援シス

スライド上のスライドオブジェクトを直接に操作可能にしテムの開発を行った．スライドオブジェクトとは，プレゼている点である．

ン資料に含まれるテキストボックスや図形といったスライスライドオブジェクトをプレゼン時にリアルタイムに操ドの構成要素のことである．スライドオブジェクト操作と作（移動やサイズの変更）することは，効果点なプレゼンをは，スライドショー中のスライドオブジェクトを移動や拡実現する上で有用ある．ここでの操作は，基本的にはキー大縮小などをする操作のことをいう．即時的なスライドオ

ボードとマウスのみで実現可能であるが，より直感的な操ブジェクト操作をアニメーションの代用とすることで，事作性を実現するためには工夫が必要である．例えば，ユー前にアニメーションを準備する時間を短縮することができザが操作のたびに前のめりになって PC を操作する姿は聴12

名古屋工業大学情報工学科
Department of Computer Science, Nagoya Institute of Technology
名古屋工業大学大学院情報工学専攻
Department of Computer Science and Engineering, Graduate School of Engineering, Nagoya Institute of Technology© 2015 Information Processing Society of Japan

講者からみて印象が悪い．スライドオブジェクトを拡大させてから移動させるなどといった複数の操作の組み合わせや複雑な操作を行うためにはキーボード操作とマウス操作を併用する必要があり，煩雑な操作が必要になる．

177

本研究では、より直感的な操作性を実現するために，モーションセンサを利用することにより，効果的なスライドオブジェクトの操作環境を実現する．モーションセンサとしては，Leap Motion 社のモーションセンサである Leap

Motion[1] を利用した．Leap Motion とは手をかざす事で，かざした手の骨格の情報や位置の情報を認識し，その情報をケーブルを通して PC に伝達ができるモーションセンサである．Leap Motion により手のジェスチャによるスライドオブジェクトの直感的な操作を提供できる．また，LeapMotion は複数の手を同時に認識できる．両手によるスライドオブジェクト操作を可能とすることで，システムの利便性はさらに高まる．
しかし，両手でのスライドオブジェクト操作は，割り当てるジェスチャや処理方法によって，ユーザにとって負担

図 1

ユーザの手の 3D モデル（ハンドモデル）によるスライドオブとなってしまう．両手でのスライドオブジェクト操作を行ジェクト操作例

う際の適切なジェスチャとその処理方法についての検討がFig. 1 Slide Object Manipulation with 3D Hands.

必要である．また，モーションセンサは認識範囲に限界があり，モーションセンサの位置がユーザのジェスチャや移る．講演者の操作を聴講者に目に見える形で提示すること動に制限を与えてしまう．モーションセンサの位置もしくで，講演者がこれから何をしようとしているのかといったは認識範囲を調整できる仕組みが必要である．本稿では，非言語的な情報を伝えることが可能になる．本研究では，両手のジェスチャによる操作とその処理方法について述

スライドオブジェクト操作の際にハンドモデルを表示するべる．

ことで，非言語的な情報を聴講者に伝えられるようにした．

2. プレゼンテーション支援モーションセンサを利用した先行研究として，筆者らは Silhouette[4] および Silhouette Eﬀects[5] を試作していプレゼンテーション支援へのモーションセンサなどのる．Silhouette はモーションセンサである Kinect を利用

NUI（ナチュラルユーザインタフェース）技術の適用には，してスクリーン上に講演者のシルエットとジェスチャを利多くの研究課題が残されている．例えば，ユーザにとって用したポインタを表示するシステムである．Silhouette は負担の少ない NUI 操作の検討や，NUI により取得したユーモーションセンサを講演者の骨格情報をもとにシルエットザのジェスチャをどのようにプレゼンテーションに生かすの切り抜きに利用しているが，本研究では骨格情報を 3Dかという課題がある．プレゼンテーションに NUI 技術をモデルの構築に利用している．Silhouette Eﬀects はスライ利用した研究として，ウェブカメラを利用したシステムやドショー中の PowerPoint のスライドオブジェクト操作をモーションセンサを利用したシステムが提案されている．

Kinect，Leap Motion およびウェブカメラを用いた NUI

ウェブカメラを利用した例として，Kuroko[2] が挙げらとして実現したシステムである．Silhouette Eﬀects ではれる．Kuroko はウェブカメラを利用して撮影した講演者

Leap Motion を利用した片手によるジェスチャ操作を実現のシルエットの影絵をスクリーン上に薄い画像として表示している．本研究では両手によるジェスチャ操作を導入するシステムである．Kuroko では講演者のジェスチャをし，プレゼン時の両手でのスライドオブジェクト操作の有画像化されたプレゼンコンテンツの背景に表示する．本研

効性を確認することを目的としている．

究では特に講演者の手のジェスチャに着目し，講演者の手の 3D モデル（以後，ハンドモデルとする）をプレゼンコンテンツの前面に表示する．なおハンドモデルを表示する

3. モーションセンサに基づくプレゼン資料の操作際にはそれが PowerPoint プレゼン資料閲覧の邪魔になら本システムではプレゼン資料の操作には 2 つの種類が存ないよう，一定時間あたりの動きの大きさに応じて透明度在する．一つ目はハンドモデルを表示し，プレゼン資料のを変化させる工夫をしている．

スライドオブジェクトの操作およびジェスチャを行うス

タブレット PC を利用した例として，Shadowgraph[3] がライドオブジェクト操作である．二つ目はプレゼン資料の挙げられる．Shadowgraph はタブレット PC をプレゼンページめくりやポインタの表示といったプレゼンテーショ資料の操作に利用しているシステムである．講演者がタブン支援機能を提供するスライド操作である．こちらはハンレット PC を利用してプレゼン資料に書き込み操作を行うドモデルを表示しない．

際に，ペンの形の影をプレゼン資料上の該当箇所に表示す© 2015 Information Processing Society of Japan

図 1 は，モーションセンサに基づくプレゼン資料の操作

178

例を示している．ここでは，ユーザの手の 3D モデル (ハン( 7 ) 短縮ドモデル) によってスライドオブジェクト操作を行ってい両手で同一のスライドオブジェクトを Grip し，両手る．フラスコのイラストとビーカーのイラストが書かれた間の距離を狭めることでスライドオブジェクトの短縮PowerPoint のプレゼン資料の前面に透明なレイヤーを配置し，そこにハンドモデルを表示している．ユーザが Leapを行うことができる．

( 8 ) グループ化

Motion にかざした手の骨格情報と位置情報を PC が解析

両手で別々のスライドオブジェクトを Grip し，両手し，スクリーン上の対応する位置にハンドモデルを表示し間の距離を近接させた状態を 3 秒間維持することで，ている．ユーザの左手と右手のハンドモデルが表示されてスライドオブジェクトのグループ化を行うことがでおり，左手は薬品の入ったフラスコのイラストを操作し，きる．

右手はビーカーのイラストを操作している．フラスコの中スライドオブジェクトの NUI による操作は，実在する物の液体をビーカーに注ごうとしている様子が，片手でそれを扱っているかのような直感的な操作感を提供する．これ

ぞれのスライドオブジェクトの操作を行うよりもわかりやらの直感的操作感を実現するためには 2 つの課題が存在す

すく表現できている．ユーザが実際の手を動かすと，それる．一つ目は Grip 判定の閾値の決定である．Leap Motionに連動してハンドモデルと操作中のスライドオブジェクトは手の開き具合を，現在の手にちょうど収まる球の半径のも移動する．

大きさで判定することができる．その球の半径を Grip 判定に利用する場合の閾値（半径の大きさ）を適切に設定

3.1 スライドオブジェクト操作する必要がある．二つ目は 3D モデル描画空間上の座標と本研究では，PowerPoint のスライドショー中のスライPowerPoint 上の座標との対応付けアルゴリズムである．以

ドオブジェクトの操作として以下のように 8 つの機能に対上の 2 つが適切でないと，ユーザの直感的操作を妨げてし応したジェスチャを実装した．

まう．これらを課題へのアプローチとして，3.4 節でモー( 1 ) 拡大ションセンサの利用を述べる．

スライドオブジェクトとハンドモデルの指先が一致した状態で，Pinch Out（伸ばした 2 本の指の間を広げる）操作を行うことで，スライドオブジェクトの拡大を行うことができる．

( 2 ) 縮小
スライドオブジェクトとハンドモデルの指先が一致した状態で，Pinch In（伸ばした 2 本の指の間を狭める）操作を行うことで，スライドオブジェクトの縮小を行うことができる．

( 3 ) 選択

3.2 スライド操作
本研究では，スライドオブジェクト操作以外にもスライド資料の操作のためのジェスチャとして以下のような 5 つを実装している．

( 1 ) ポインタ表示
指を 1 本立てるジェスチャを行うことで，立てた指の先端の位置にポインタを表示することができる．

( 2 ) 強調線の表示
指を 2 本立てるジェスチャを行う事で，スクリーンにスライドオブジェクトとハンドモデルの手のひらが一対して水平な強調線を表示することができる．強調線致した状態で Grip（手を握る）操作を行うことで，スの位置は 2 本のうち一方の指の先端の位置から算出

ライドオブジェクトを選択することができる．選択しする．

たスライドオブジェクトに対して，以下の 4〜8 の操作が適用可能である．

( 4 ) 移動( 3 ) 黒シートの表示
指を 4 本立てるジェスチャを行う事で，黒いシートを画面下部からを表示することができる．黒シートの位

スライドオブジェクトを選択した状態で手の位置を動

置は 4 本のうち 1 本の指の先端の位置から算出する．

かすことで，スライドオブジェクトの位置を移動させ黒シートを表示することにより，即時的にスライドのることができる．

( 5 ) 削除

一部を聴衆に隠蔽することが可能になる．

( 4 ) 次のスライドへ移動

スライドオブジェクトを選択した状態で手の位置を３

手を左に Swipe（指を全て伸ばした状態で手を直線移秒間静止させることで，スライドオブジェクトをプレ動）させることで次のスライドに移動することがでゼン資料上から削除することができる．

( 6 ) 伸長きる．

( 5 ) 前のスライドへ移動

両手で同一のスライドオブジェクトを Grip し，両手手を右に Swipe させることで前のスライドに移動する間の距離を広げることでスライドオブジェクトの伸長ことができる．

行うことができる．

© 2015 Information Processing Society of Japan179

3.3 スライドオブジェクト操作とスライド操作の切り替え
本システムはスライドオブジェクト操作を行うモード（ハンドモード）とスライド操作を行うモード（通常モード）が存在する．ハンドモードの際はハンドモデルが表示されるが，通常モードの際は表示されない．ハンドモードと通常モードの切り替えは手を広げた状態で 3 秒間静止させることで行う．ハンドモードと通常モードがユーザの意図しないタイミングで行われてしまうことを防ぐために，指をのばした状態でしばらく静止させるというユーザが意識的に行う必要があるジェスチャを割り当てた．

3.4 モーションセンサの利用
本研究で行った，Leap Motion からの入力をスライドオブジェクト操作に変換するため手法を述べる．Leap Motion
はデバイス上部の一辺の長さ 60cm の立方体の空間に対し

図 2

Leap Motion 装着手法案一覧

Fig. 2 How to Equip Leap Motionてジェスチャが取得可能である．デバイスをユーザに対しブルにするための課題として，第一に Leap Motion をプて適切な向きにおくと，デバイスを始点として x 軸の正レゼン資料の操作をする PC（以後，講演者 PC）に接続方向がユーザの右方向に，y 軸の正方向がユーザの上方向しなければならないということがあげられる．そのためのに，z 軸が正方向をユーザの後方となる．対してスクリー解決策を 3 つ挙げる．一つ目は LeapMotion と講演者 PCンおよび，PowerPoint の座標系は画面左上部から右上部を長いコードで接続した状態で利用することである．このに向けて x 軸の正方向が，画面左上部から左下部に向けて手法は準備が容易であるが，コードの長さや会場の環境にy 軸の正方向が位置している．今回は，Leap Motion におユーザビリティが大きく依存する．二つ目は LeapMotion

ける z 軸をスクリーン座標系の y 軸に，x 軸をスクリーンと講演者 PC をコードで接続した上で，講演者 PC も体に座標系の x 軸に割り当てている．Leap Motion からは座標装着しプレゼンテーションを行うことである．この手法はを-1〜1 までの値で標準化して取り出す事ができる．本研

講演者 PC を直接操作するのが困難である．三つめは講演

究では，ジェスチャ入力可能な値の範囲は x 座標 z 座標と者 PC の他に別の PC（以後，携帯 PC）をもうひとつ用意もに-0.7〜0.7 までとした．値の絶対値が大きくなればなるすることで解決をはかる方法である．Leap Motion を携帯ほど，デバイスから対象座標までの距離が遠くなり，検出PC に接続しそれらを体に装着し，携帯 PC と講演者 PC精度が落ちる．ジェスチャ入力の範囲は狭くなってしまうが通信することによって，講演者 PC を机上に置いたままが，その分精度が高くなりユーザの直感的な操作につなが操作を行える．この手法は操作に通信遅延が起きてしまうる．また Leap Motion は手の握り具合を，掌に収まる球のが，携帯 PC を小さなものにすることで，ユーザの身体的直径で判定することができる．Grip の判定は掌に収まるな負担を最小限にすることができる．本研究では講演者

球の直径が 40mm 以下になったときとした．40mm というPC と Leap Motion を長いコードで接続するという方法で値は経験的に決定した．

解決を図った．図 2 は本稿で検討した 6 つの装着手法の一覧を示したものである．図 2 の番号で示した装着手法は順

4. モーションセンサの設置方法に次のように説明する．

( 1 ) 手首に Leap Motion が腕時計のようになるように Leap

モーションセンサをプレゼンテーションに利用する場

Motion を固定したバンドを装着する (腕時計型と呼合における制約として，モーションセンサの認識範囲にぶ)．腕時計型は．モーションセンサの位置を腕で調よってユーザが意図しないタイミングでジェスチャを認整することができるので使いやすいが，本研究が目標識してしまうこと，ユーザの移動が制限されてしまうこととする両手での操作が不可能である ．の 2 点が挙げられる．モーションセンサ（ここでは，Leap( 2 ) 腰の前面に Leap Motion がくるよう Leap Motion をMotion）を体に装着することでプレゼン資料の操作を講演固定したベルト装着する (前面ベルト型と呼ぶ)．前面台から離れても行うことができるため，より表現力のあるベルト型は，両手での Leap Motion の操作が容易であプレゼンテーションが行える．一方，モーションセンサをるが，操作時のユーザの視線がモーションセンサ設置机に置いた状態で利用した場合は講演台から離れた状態で部まで下がってしまう．またユーザの服によってセンプレゼン資料の操作ができないだけでなく，講演者 PC にサが隠されてしまう場合がある．

視線を向ける時間の増加を招く．Leap Motion をウェアラ© 2015 Information Processing Society of Japan( 3 ) 腰の側面に Leap Motion がくるよう Leap Motion を180

図 4 実行例

Fig. 4 Execution Example.

図 3 システム構成

Fig. 3 System Architecture.

類を判定，認識したジェスチャの種類をスライドオブジェクト操作機構にイベントとして送信する．またジェスチャ認識機構は座標変換機構へ手指情報を送信する．座標変固定したベルト装着する (側面ベルト型と呼ぶ)．側面換機構は Leap Motion から得られた手指の座標情報をス

ベルト型は，腕を体の側面におろしたまま利用できる

クリーン上および Power Point 上で利用可能な座標系に変が，不要なジェスチャ入力を認識してしまう．両手に換している．座標変換機構は Leap 状態判定機構から現在よるジェスチャも難しい．の Leap Motion の利用状態を取得し，それを座標変換の( 4 ) Leap Motion を固定した台をベルトを利用して腰に装際に利用する．Leap 状態判定機構は Leap Motion の現在着する (机型と呼ぶ)． 机型は，Leap Motion を体かの利用状態に適した座標系の変換作業が行われるようコンら離れた部分に設置できるので，ジェスチャがしやすトロールする．座標変換機構によって，手指情報に含まれい．両手での Leap Motion の操作も容易．しかし，設ていた Leap 座標系はスクリーン座標系に変換される．変

置台がユーザの動きのさまたげになる．

換された手指情報は 3D モデルレンダリング機構とスライ( 5 ) Leap Motion を固定した台をひもを利用して首から吊ドオブジェクト操作機構に送られる．3D モデルレンダリ

り下げ画板のように装着する (画板型と呼ぶ)．画板型

ング機構は手指情報からハンドモデルをスクリーン上には，ユーザの視線をあげた状態での操作ができ，装着レンダリングする．またスライドオブジェクト操作機構はが容易である．Leap Motion の向きが安定しない．装ジェスチャ認識機構から得られたイベント情報と手指情報着するためのひもがジェスチャの阻害要因になる．

を統合することにより PowerPoint 上での操作に変換し，( 6 ) Leap Motion を固定した台を Leap Motion が掌の直PowerPoint の操作を行う．スクリーン上ではハンドモデ下にくるように腕にバンドを利用して装着する (掌直下型と呼ぶ)．掌直下型は，どんな体勢でも操作が可能

ルと PowerPoint のスライドが統合し表示される．
本研究では，本システムを Windows アプリケーションである．しかし，Leap Motion が不要なジェスチャ入として実装した．利用方法は以下のようになる．

力を認識してしまう．手と Leap Motion との距離が不( 1 ) Leap Motion を PC に接続する変であるため操作性が低下し，操作数が減少する．ま( 2 ) 本アプリケーションを起動するた設置台がジェスチャの阻害要因になり，両手での操( 3 ) 任意の PowerPoint のファイルを開きスライドショー作も困難である．に切り替える

今回はプロトタイプとして，(4) 机型の実装を行った．机という 3 つの手順で本システムを利用することが可能で型は両手でのジェスチャが行いやすく，Leap Motion の標ある．本システムの実装環境について説明する．OS は準的な利用方法に近く誤認識が少ないと期待できる．

Windows 7 である．開発環境は Visual Basic 2010 Express

5. スライドオブジェクト操作機構の実装
5.1 システム構成図
図 3 のシステム構成図について説明する．まず Leap

Motion がユーザ（講演者）の手のジェスチャを認識する．

であり，利用したプログラミング言語は VB.NET である．

Leap Motion からの値の取得は，公式で提供されている
Leap Motion Developer SDK を使用した．ハンドモデルの表示には OpenGL を利用している．PowerPoint の操作は Power Point Object Library を用いた．

Leap Motion によって取得した手と指の骨格情報や座標情報（以後，手指情報）はジェスチャ認識機構に送られる．
ジェスチャ認識機構では，ユーザが行ったジェスチャの種© 2015 Information Processing Society of Japan

5.2 実行例
図 4 は実際に Leap Motion を利用して，スライドショー

181

ドで行った．本試行では，予想外のジェスチャの誤認識が多くみられた．これは，腰に装着した机部分の固定が不十分で角度が安定しなかったのが原因であった．また Leap

Motion と講演者 PC のコードによる接続は，会場を歩き回ることに対する大きな障害となることが予想されたが，通常のプレゼンでは，問題なく機能した．プレゼン時にスライドオブジェクトを両手で操作するには窮屈に感じられる場合があった．第 2 節で述べたように精度を挙げるために，モーションセンサ認識可能範囲を狭くしたのが原因で
図 5

2 本指ジェスチャによるポインティング

Fig. 5 Pointing with Two Fingers.

ある．適切な認識可能範囲を動的に調整するアルゴリズムが必要である．例えば，複数の Leap Motion を利用したアプローチも効果的である．
参考文献
[1]
[2]

[3]

[4]
図 6 黒シートによる画面一部分の隠蔽

Fig. 6 Covering a Slide with a Black Sheet.

[5]

中の PowerPoint のプレゼン資料上にハンドモデルを表示した実行例である．ユーザが手のジェスチャをスクリーン

Leap Motion，https://www.leapmotion.com
梅村 恭司，梅村 真由: 即応的プレゼンテーションのための PowerPoint スライドオブジェクト操作機構の実現,Kuroko:話者シルエットを活用するプレゼンツール I 情
報処理学会 インタラクション 2012, 281-286(2012)
村田 雄一，志築 文太郎 他: ペンの影を用いて OHP 風の指示ができるプレゼンテーションツール, WISS 第 16回インタラクティブシステムとソフトウェアに関するワー
クショップ 論文集, 7378(2008)
丹羽 佑輔 ，山田 裕之 他: Silhouette:人物の映像をスクリーンにオーバーレイするプレゼンテーション支援ツール, 日本ソフトウェア科学会第 29 回大会 講演論文集 (2012).
山田 裕之，丹羽 佑輔 他: 即応的プレゼンテーションのための PowerPoint スライドオブジェクト操作機構の実
現 , IEICE technical report : 信学技報 113(332), 59-64,
2013-11-28 電子情報通信学会 (2013).

を通して聴衆に伝えることができる．ここでは，実行例としてわかりやすいよう手を拡大して表示している．また実際は透明度も手の動きに応じて変化させ，聴講者の資料の閲覧性に配慮している．
図 5 は実際に 2 本指ジェスチャによるポインティングを行っている例である．表示された強調線は指の動きを追従する．
図 6 は指を 4 本立てるジェスチャを行って，黒シートを表示した例である．PC の下部の領域を黒シートが覆っている．黒シートは画面下部から指の位置まで表示され，即時的に画面の一部分を隠蔽することができる．
本研究では複数の指を使いわけることで様々な表現を可能にしている．簡単なジェスチャで様々な操作を適用できるので利便性が高い．

6. おわりにLeap Motion を利用して，両手による複数同時入力，またウェアラブルな Leap Motion 操作を可能にするプレゼン
テーション環境の試作を行った．試作したプロトタイプを利用して実際にプレゼンテーションを行い評価を行った．
プレゼンテーションでは第 4 節で記述したように，LeapMotion を机型で装着し，講演者 PC との接続を長いコー© 2015 Information Processing Society of Japan182