情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A02
2015/3/5

KurokoPointer: プレゼンテーションにおける確実なポインティングのための話者映像処理
梅村 恭司†1	  	  梅村 真由†2
山根 恵和†1	  	  大囿 忠親†2	  	  新谷 虎松†2

概要：スライドを用いたプレゼンテーションにおいて，説明個所の確実な指し示し（ポインティング）は重要であるが，聴衆のすべてが示した場所を認識するまで，場所指定を継続して維持することは努力を要する．本稿では，自然で確実なポインティングを実現するシステムについて述べる．このシステムはコンピュータにあるカメラを利用し，話者のシルエットを生成する．その上で，手に持った目立つ物体を追跡して，シルエットと物体の場所を示すマーク（ポインタ）をプレセンテーションのスライドの上に重ね合わせて表示する．物体の動きが停止したことを検出すると，別の形状のマーク（スタンプ）を生成し，それを聴衆にとって十分な時間だけ保持する．このとき，物体が動いたとしてもスタンプは移動しない．このようにして確実なポインティングを実現した．

KurokoPointer: A Reliable Method for Pointing at Presentation
Contents by Processing Presenter's Image
Kyoji UMEMURA†1	  Mayu UMEMURA†2	  	 Yoshikazu YAMANE†1	  Tadachika OOZONO†2 	  Toramatsu SHINTANI†2	  	 	  	 Abstract: Though pointing devices in presentation play an important role in presentation, it is usually difficult to keep thepointing action long enough so that all audience should recognize the place to be pointed at. In this paper, we present apresentation system that makes reliable pointing possible. This system utilizes the camera on computers and captures thesilhouette of the presenter, and then generate pointing image in slides by recognizing a salient object in the hand of the presenter.
When the object stops, the system responds to this event and then generates a different kind of pointing image and keeps theimage long enough for audience, even if the salient object moves to another place. We have, thus, realized a reliable method topoint at the places on presentation slides.

1. は じ め にされていることが示唆されている．しかしながら，このシ	  	 ステムの方法では，ユーザの動作の認識が基盤にあるため，	  オンラインでプレゼンテーションが配布されるという状

実際に使うには専用のカメラを用意しなければならないと況は多くなっているが，そのときにプレゼンテーションスいう問題があった．

ライドを固定カメラでストリーミングするという状況で，	  また，深度画像に加え，指の動作の検出のための専用の話者のシルエットをポインタとして利用するという試みがデバイスも追加し，プレゼンテーションシステムの操作性なされている[3]. 同じ状況のために，深度画像が取得できが補強されたものが開発されている[5]. この報告において，るカメラで，機能追加されたシステムを作成されている[4].

特殊デバイスを使うことの問題が示され，通常のカメラをこの先行研究では，被験者実験によってプレゼンテーショ用いてポインティングを行うことについての機能も示されンの効果を測定しているが，話者シルエットの利用だけでている．それは，話者シルエットと特徴的な色をもつ物体なく，話者の動作によって，ポインティングしている場所を用いてポインティングする方法である．にマーカを生成し，それを一定時間保持することが効果的	  このような背景から，カメラを利用するが，深度情報も，であることが示された．文献[4]において，プレゼンテーシ指動作の検出のためのデバイスも用いない条件で，文献[4]ョンの印象がポインティング機能で有意に改善できているで提案された機能：保持機能のもつポインティングデバイ

要素は，指し示した場所が聴衆に十分な時間の長さで保持スの実装方法を報告するのが，本稿である．本稿の内容は，†1 豊橋技術科学大学
Toyohashi University of Technology†2 名古屋工業大学
Nagoya Institute of Technology

文献[3]と比べて，ポインティングの機能の強化がなされ，文献[4]と比べて，聴衆に提供する機能は同一だが，話者にとってはシステムの利便性（特殊カメラを必要としないこと）を提供している．文献[5]と比べると，確実なポインティングのための場所の保持機能が異なる．

© 2015 Information Processing Society of Japan148

2. ポ イ ン タ と ス タ ン プ 	  	 	  文献[4]において，ポインティングを確実に行う工夫として，スタンプ機能が提案されている．文献[5]で示されるポインティング方法も，通常のポインティングデバイスも，場所の保持の機能がないため，話者が場所を指し示したときに聴衆がそこを見ていないと，指そうとしていた場所が聴衆に伝わらないままにポインタが移動してしまうという危険性がある．また，実際にプレゼンテーションでは，そのようなことが生じる．	  文献[4]におけるスタンプ機能とは，話者が指定した場所に円形のマークを表示し，それを２０秒保持し，そのあと１０秒かけて徐々に消すというものを，シルエットによるポインティング機能とともに実装したものである．ポインタが動いても，スタンプは２０秒の間，動かないで表示されるために確実に指示している場所が聴衆に伝わる．	  文献[4]では下記の条件で印象の比較を行っている．A:

図 1 例で用いるスライド
Figure 1

Slide used for examples

話者のシルエットとポインタとスタンプの表示，B: 話者のシルエットとポインタ表示，C: 話者のシルエットのみの表示，の３つの条件である．そして，14 人の被験者に対し，15 分を区切りとして条件を変更して，３条件でプレゼンテーションをして，印象の比較で符号検定を行ったところ，
A と B，A と C の間の印象の差があるあり，いずれも A の条件のほうの印象が良いと答えた人数比が 13: 1 で，差は危険率１％で有意と報告されている．

3. シ ル エ ッ ト 生 成 方 法 の 変 更	  文献[4]で，シルエットがちらつくとプレゼンテーションの印象が低下することが報告されている．通常のカメラでのシルエットの利用を行っている文献[3]でのシルエットの生成方法は，動きのあるところをシルエットとし，ポイ

図 2	  文献[3]におけるシルエット像ントしているところを目立たせる設計を行っていた．動き

Figure 2	  Silhouette described in reference [3]のあるところを表示すると，必然的にシルエットがちらつくことになる．文献[3]では，指し示す場所を強調するために動いているところをシルエットとしていたが，指し示している場所を別の方法で示すことにすると，ちらつくという欠点しか残らない．このため，本稿ではシルエットは動きがあるところにせず，背景との差分があるところとする方針にした．図１にシルエットを持たないオリジナルのスライドを示す．図２は文献[3]のシルエット像を図１に重ねて影を表示したものである．手が動いているので，手の部分に影ができているのが分かる．図３が本稿で使用したシルエット像である．背景と差があるところが影として表示されている．文献[3]のシステムでは，動いている部分の輪郭部分が影となっており，全体的に指先が強調される．
図 3	  背景差分のシルエット像
Figure 3	  Silhouette by difference from background© 2015 Information Processing Society of Japan149

今回のシステムでは，文献[4]のシルエットと同様，輪郭で囲まれた部分が塗りつぶされた像を使うため，影の部分が多くなり，影の動きはちらつきが少なくなるが，注目する部分（手）が分かりにくい状態になっている．

4. ス タ ン プ 機 能 の 実 装 方 法	  	 	  文献[4]では，話者が手をカメラにむかって押し出すとスタンプが表示される設計となっていた．通常のカメラだけでは，この動作を確実に検出することは難しい．そこで，話者にほかの場所と区別できるような目立つ色の物体を手にもってもらい，それが一定時間動かないことを検出して，
図 4	  ポインタの場所が十字で示されている
Figure 4	  Red cross mark indicates the current pointer.

スタンプを生成することにした．	  文献[4]と類似動作，すなわち，物体をカメラ方向に押し出すことによる動作によって，重心が動くことなく物体領域が増加することを検出して，スタンプを生成することも検討したが，重心を保持した押し出しは訓練が必要な動作であり，確実にスタンプを生成できなかった．	  一方で，物体が停止することによるスタンプの生成は，意図しないスタンプが生成されることが危惧されたが，手に保持したものを動かさないのは，はっきりとした意図が必要であり，実際には誤動作が起きにくかった.このように，スタンプを生成する話者の操作は文献[4]と異なるものとなった．

5. シ ス テ ム の 動 作	  	 	  システムは，jpeg のスライドファイルを用意し，それを図 5	  ポインタが静止することでスタンプが現れる
Figure 5	  Stamp mark is generated where the pointer stays.

用いてプレゼンテーションをするものである．Power Pointそのものを使用するものでないが，文献[5]などの実装をすれば，そのまま使うシステムを作成する方法もある．本シ
ステムの特徴は，コンテンツの背景（通常は白の部分）に話者映像を処理したものを重ね合わせ，ポインティング機能を実現しているところである．	  図４，図５，図６によって，ポインティング動作の説明をする．図４は手に目立つ色の物体をもっているときに表示される影をスライドに重ねたものである．この例では物体は赤い玉で，赤い画素の領域の重心が十字の中央になるように表示される．図４は，図３と比較すると，注目するべき箇所が明確になっている．	  図４のポインタは，手の動きに追従する物であるが，このポインタを１秒程度静止させると図５の状態になる．完
全に静止していない場合でも，移動速度がある閾値より小さい状態が１秒弱続いた場合には図５の状態になる．実際

図 6	  ポインタが動いてもスタンプは動かない
Figure 6	  Stamp mark remains the same place.

© 2015 Information Processing Society of Japanには，重要なところを精密に指定しようとして狙いを定めると，狙いが定まったころに円が出現するように閾値を調150

整した．

いうアイディアである．これをプレゼンテーションに利用	  スタンプが出現したあとに手を移動した状態が図６であしようとしたとき，人物映像とプレゼンテーションコンテる．十字のポインタは手に追従して移動するが，スタンプンツを重ね合わせることによる干渉が問題と考えたため，のマークは生成された場所から動かない．この状態が２０

人物の存在をシルエットにして，コンテンツに重ねたとし秒あり，その後，１０秒の時間を使って円が薄くなり，見ても，コンテンツを読み取る事を邪魔しないようにするこえなくなる．この時間をとることによって確実なポインテとを考えた．シルエットを用いることで，これを用いないィングができている．

ときよりもプレゼンテーションに効果があるという結果が	  スタンプが消える前に，別の場所にポインタを静止させ文献[3]に示されているため，存在感を伝えることに一定のてスタンプを生成すると，その時点で古いスタンプは消え効果が示唆される．

る．このようにしたことの，ひとつの理由は，複数の場所	  一方で，シルエットにすることにより，表情などが失わに注目点が存在すると混乱することであり，もうひとつのれる．表情をもつイメージとコンテンツを重ね合わせるた

理由は，スタンプの場所がずれていた場合に修正することめに，コンテンツを変形させるという提案がある[2].	  これが自然にできるように考えたことである．また，スタンプを可能とするには，プレゼンテーションのコンテンツに対が消えるまえにスライドを移動した場合は，スタンプは消しての条件が必要であり，それが満たすとシルエットよりえる．これは，注目点はスライドに属しているので，スラも聴衆に対して話者に関する多くの情報を伝え得るが，コイドが消えたら，注目点はなくなるため，それに同期してンテンツの準備のコストがあると考えられる．

スタンプが消えるのが妥当と考えた．	  最後に，ポインタ，スタンプなどを実装したので，シル	  ここで，ポインタとスタンプの生成時点において，シルエットは不要ではないかという意見もあるが，シルエットエット人物像がいることにより，ポインタとスタンプがスがあることによって，コンテンツとポインタが明確に分離

ライドのコンテンツと別のレイヤの情報とわかる．これがすること，話者が動作していることが了解できることにつ特徴と考え，システムを KurokoPointer と呼ぶことにした．

いて，聴衆の注意の継続に益すると考えているが，これに6. シ ス テ ム の 有 用 性

ついての評価／評価方法について，今後考えていきたい．	  まず，ポインティングの考え方については文献[4]に準じ

8. お わ り にており，システム利用者の印象もほぼ同じであり，聴衆に	  本稿では，通常のカメラと色のついた物体を用いて，話よっては，同じシステムと勘違いすることもあった．しか者が指定する場所を確実に聴衆に伝えるためのシステムにしながら，本稿の方法で利用するデバイスは，通常のカメついて述べた．提案方法の特徴は，動き回るポインタをもラと目立つ色の物体であり，特殊カメラを必要としないたとに，一定時間動かない別のマーク（スタンプ）を表示し，め，文献[4]との比較では有用性がある．

それを十分に長く表示することである．実現した機能は，	  一方で，文献[3]と文献[5]は，特殊カメラを使用しない件既存の研究[4]と同じであるが，特別なカメラを利用せず，でのシステムの提案があり，その意味では本稿と同じ条件

カメラ付きのノートコンピュータであれば使用できる．

を想定しているものである．しかしながら，ポインティングのために提供する機能が異なる．その比較には文献[4]	  謝 辞 	  本研究は JSPS 科研費 26330396 の助成を受けた．

における，ユーザ評価の結果を使うことができる，条件 A	  	 （話者のシルエットとポインタとスタンプの表示）が，本稿のシステムに相当する条件であり，条件 B（話者シルエットとポインタの表示）は，文献[3]における特殊デバイスを使用しない条件でのシステムに相当する条件であり，条件 C（話者シルエットの表示）は文献１に相当する条件と考えられる．相当する条件で，差が報告されているので，本稿の提案は，文献[3], および，文献[5]における通常カメラを利用する条件での提案に比べて有用性がある．

7. シ ル エ ッ ト に つ い て	  提案するシステムの着想の出発点として，協同作業空間の実現における人物映像の利用の報告[1]がある．共同作業

参考文献
1) 小林	  稔，石井	  裕：「ClearBoard-2 における協同作業空間と会話空間のシームレスな融合」，情報処理学会，情報処理学会研究報
告，[グループウェア] 93(34), pp43-50, 1993
2) 前田	  晴己,	  黒澤	  祐也,	  栗原	  一貴,	  宮下	  芳明:
「MAEDE: スクリー ン前でのプレゼンテーションスタイ
ル」,WISS2011,第 19 回イ ンタラクティブシステムとソフトウェ
アに関するワークショップ 論文集,pp. 164–166,2011.
3) 梅村	  恭司，梅村	  真由：
「Kuroko: 話者シルエットを活用するプレゼンツール」，情報処理学会インタラクション 2012,
pp.281-286,	  (2012)4) 若松	  翔, 梅村	  恭司, 三輪	  多恵子, 岡部	  正幸：「話者動作による確実なポインティングのできるプレゼンテーションシス
テム」，情報処理学会インタラクション 2013, pp.750-755,	  (2013)5) 	  山田 裕之, 丹羽 佑輔, 白松 俊, 大囿 忠親, 新谷 虎松:「即応的プレゼンテーションのための PowerPoint スライドオブジェ
クト操作機構の実現」信学技報, Vol. 113, No. 332, pp. 59-64, 2013.

空間で，共同作業者のプレゼンスを協同業空間に重ねると© 2015 Information Processing Society of Japan151