2020 年度 修士論文

論文題目
指示動作をマルチスクリーンへ展開する
プレゼンテーション支援システム(Presentation support systemthat shows pointing actions on multiple screens)

指導教員
舟橋

名古屋工業大学大学院

工学研究科

2019 年度入学

名前

情報工学専攻31414053 番

柴田 大地

健司

准教授

i

目次
第 1 章 はじめに

1

第 2 章 関連するデバイス及び研究

5

第 3 章 提案するプレゼンテーション支援システム

83.1

システムの全体構成. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

3.2

メインスクリーンの指示箇所の検出 . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

3.2.1

座標の対応付けと差分領域の抽出 . . . . . . . . . . . . . . . . . . . . . . . .

9

3.2.2

レーザポインタを用いる場合の指示箇所の検出 . . . . . . . . . . . . . . . . .

12

3.2.3

指し棒を用いる場合の指示箇所の検出. . . . . . . . . . . . . . . . . . . . .

12

各スクリーンへの指示箇所の表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.3

第 4 章 実験184.1

実験概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

4.2

結果と考察

19

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 5 章 むすび

26

謝辞

27

参考文献

28

発表論文リスト

31

1

第1章

はじめに

近年，学会や大学の講義などで，プレゼンテーションを行う機会が増加している．
最近のプレゼンテーションでは，PC とプロジェクタを用いて行う形式が一般的となっており，プレゼンテーションの機会の増加に伴い，この形式に合わせた様々なプレゼンテーション支援システムの開発がなされている．岡本らは，ウェアラブル
コンピュータを使用してイベントの司会者のサポートを行うシステムを開発している [1]．これは，発表を進めるために必要な，台本などの情報をヘッドマウントディ
スプレイを通じて司会者に提示することで，台本を覚えるなどの準備の時間を削減したり，聴衆の状態に配慮したスムーズな司会を行ったりすることを支援するシステムである．また井上らは，プレゼンテーション中のスライド上でのフィードバック
共有により発表者と聴衆間のリアルタイムなインタラクションを可能にするシステ
ムを研究している [2]．これは，スクリーンに映し出されるプレゼンテーションスラ
イド上に聴衆の意見をリアルタイムに投稿することで，発表者へのフィードバックが行われ，内容理解を促進するプレゼンテーションができるシステムである．他にも，発表者のノンバーバル表現に注目したプレゼンテーションシステムの研究 [3] [4]がある．
ところで，上述の形式でプレゼンテーションを行う場合，発表者の声を聴衆全体に届けるためにマイクが使用される．また，文字や図などを用いて発表内容を補足するため，会場前方にはプレゼンテーションスライドを投影するための大型のスクリーンが設置されている．小さな会場であれば，スクリーンは 1 つで十分であるが，大きな会場の場合，聴衆全員が 1 つのスクリーンを視認することは難しい．そこで，

1 つの大型のスクリーンに加えて，少し小さいのスクリーンが複数配置される場合がある．複数のスクリーンを配置した会場の例として，室内が前後に広い場合，部屋の中程に，会場後方の聴衆に向けたスクリーンを配置する形式がある（図 1.1）．

第1章

はじめに

2

また，室内が左右に広い場合，部屋正面に 2 つ，3 つのスクリーンを配置する形式がある（図 1.2）．また，それらを複合した配置も存在する（図 1.3）．
このように，マイクを使用したり，スクリーンを必要な数だけ適切な場所に配置したりすることで，発表者の声やプレゼンテーションスライドを聴衆全体に届けることができる．しかしそれ以外の情報，すなわち，発表者がプレゼンテーション中に行う動作による情報は，聴衆の位置によっては伝達されない．発表者はレーザポイ
ンタや指し棒を用いて，説明のためにスクリーンに映し出されたプレゼンテーショ
ンスライド中の特定箇所を指し示すことがある．これにより，強調したり，聴衆の注目を集めたりすることができる．これらの動作もプレゼンテーションの一部であり，聴衆はこれを参考にして発表内容を理解する．よってこの動作はプレゼンテー
ションにおいて内容の理解に必要な情報であると言える．しかし上述のような，発表者を視認しづらいほど広い会場においては，会場後方の聴衆は発表者を視認することが難しく，これらの指示動作を直接目視することができない．また補助用のスクリーンがある場合にも，発表者が指し示すスクリーンは 1 つのみであるため，そのスクリーン以外を見ている聴衆は指し示している箇所がわからない．
そこで本研究では，発表者の指示動作を聴衆全員に伝達することを目的としたプ
レゼンテーション支援システムを提案する．発表者の指示動作を聴衆全員に対して漏れなく伝達することで，聴衆の発表内容に対する理解度を高めて，ひいてはプレゼンテーションを成功させることが期待できる．関連する研究として，発表者を重畳表示するプレゼンテーション支援ソフトウェアの研究がなされている [5]．これは，大型スクリーンに投影されたプレゼンテーションスライド上に，カメラで撮影した
発表者を切り出して重畳表示し，スクリーン上に発表者が身振り手振りする様子を映し出したり，プレゼンテーションスライド中にインタラクティブな書き込みを行えるものである．発表者が直接視認できない場合においても，発表者の動作や，発表者が指し示している箇所がわかりやすくなる．しかし，発表者の姿自体を聴衆に提示する必要のない場合も多いだろう．多くの場合，プレゼンテーションスライド
中の特定箇所を指し示す場合に自身の手を用いるのではなく，レーザポインタや指し棒を用いる．そこで，発表者のメインスクリーンに対する指示箇所を，サブスク
リーンへも展開することで，指示箇所を全ての聴衆に伝達するプレゼンテーション

第1章

はじめに

3

図 1.1: マルチスクリーン会場の例 1（文献 [6] より引用）

支援システムを提案する．
本論文では，第 2 章では，本システムの構成について述べる．第 3 章では，発表者の指示箇所の検出手法について述べる．第 4 章では，検出した指示箇所の伝達手法について述べる．第 5 章では，本研究の課題と今後の課題について述べる．

第1章

はじめに

4

図 1.2: マルチスクリーン会場の例 2（文献 [7] より引用）

図 1.3: マルチスクリーン会場の例 3（文献 [8] より引用）

5

第2章

関連するデバイス及び研究想定されるプレゼンテーション環境について整理する．本論文では，プレゼンテー
ションスライドを映し出すスクリーンが複数台設置されているような，広い会場でのプレゼンテーションを想定している．まず，会場の前方正面に大型のスクリーンが，各所に複数のスクリーンがあるとする．発表者がプレゼンテーションスライドが映っていることを確認し，指示動作を行うスクリーンを「メインスクリーン」，それ以外のスクリーンを「サブスクリーン」と呼ぶことにする．これら複数のスクリーンの接続は，図 2.1 のように表せる．すなわち，1 台の PC から全てのスクリーンに対して同じ映像出力が出力される．
コンピュータの汎用入力機器であるマウスは，発表者がプレゼンテーションスラ
イド上の指し示したい箇所を正確に指し示すことができる．しかし，マウスを使用する場合，発表者は PC の画面を見て操作しなければならず，PC の前から動くことができない．PC の画面を見てプレゼンテーションスライドを指し示すのは，レーザポインタなどを用いて指し示すよりも面倒である．操作に手一杯となり，聴衆の反応に気を配るのが難しくなり，発表のテンポも悪くなる．効果的に内容を伝えなければならないプレゼンテーションにおいて，これは好ましくない．マウスよりも直感的な操作が可能なポインティングデバイスとして，図 2.2 のようなプレゼンテー
ション用のエアマウスがある．これは，内部にジャイロセンサを搭載し，空中で動かしてポインティングを行えるものである．このデバイスは，レーザポインタを使用する場合と同様に，スクリーンに投影されたプレゼンテーションスライドを見て指し示すことができる．しかし，デバイスを使用したポインティング箇所と，発表
者の腕が指し示す場所は正確には一致しない．これは，このデバイスが内部のジャイロセンサを用いて，3 次元の手の動きを PC 画面上の 2 次元の動きに変換しているためである．そのためここでは，発表者が正確に，かつ直感的に操作できるように，

第2章

関連するデバイス及び研究

6WDĂŝŶƐĐƌĞĞŶ

sŝĚĞŽŽƵƚƉƵƚ

WƌĞƐĞŶƚĞƌ

･･･^ƵďƐĐƌĞĞŶϭ^ƵďƐĐƌĞĞŶϮ

図 2.1: プレゼンテーションのハードウェア環境

このようなデバイスの使用は想定しない．
プレゼンテーション支援ソフトウェアの研究や，新しい入力装置の研究で，プレゼンテーションスライド上におけるレーザポインタの投影点の位置の検出方法について様々な検討がなされている．菅原らは，遠隔講義システムにおけるレーザポイン
タの利用について言及している [10]．発表者が行うプレゼンテーションスライドを指し示す動作に対して，その指示箇所の検出を行う必要がある．そこで，市販されているレーザポインタ同様に赤色レーザ光を出力するのに加え，赤外光も同時に出力するレーザポインタを作成した上で，赤外光をレーザポインタの投影点の位置検出に使用している．また，スクリーンに投影されたプレゼンテーションスライド上から赤外光を正確にカメラで受光できるように，カメラのレンズ部分にバンドパス

第2章

関連するデバイス及び研究

7

図 2.2: エアマウス（文献 [9] より引用）

フィルタを装着している．一方で和田ら，張らは，レーザポインタを新しい入力インタフェースとして使用する研究を行っている [11] [12]．和田らの研究では，レー
ザ光を変調し，変調光検波方式のイメージセンサを使用して受光することで，レー
ザポインタの投影点の位置検出を行っている．張らの研究では，受光部分に減光用フィルタを装着することで，プロジェクタの投影光を削減し，レーザポインタの投影点の位置検出を行っている．
上述の研究は，どれも特殊なハードウェアデバイスが必要となる．今回，プレゼンテーション支援システムを製作するにあたり，広く使われることも視野に入れたい．
そのため，レーザポインタの投影点の検出用ハードウェアには，安価に入手でき，今
現在一般に普及しているウェブカメラのみを使用する．詳細は次の章で述べる．

8

第3章

3.1

提案するプレゼンテーション支援シス
テム

システムの全体構成

提案するプレゼンテーション支援システム全体の構成を説明する．本研究は，発表者の指示動作を視認できない聴衆に対して，指示箇所を伝達することを目的としている．また発表者が円滑にプレゼンテーション行い，直感的に指示動作が行えるよ
うにするため，指示に使用するデバイスは，マウスなどのデジタルデバイスではな
くレーザポインタまたは指し棒を使用する．よって提案するシステムは，まずレーザポインタもしくは指し棒を用いた指示箇所の検出を行い，次にサブスクリーンを見ている聴衆へ指示箇所の伝達を行う．
まず，聴衆への指示箇所の伝達について考える．指示箇所の伝達が必要となる聴衆
は，発表者による指示動作が行われないサブスクリーンを見ている．よって，デジタ
ルカーソルを映像出力にのせてスクリーンに表示する形で実現する．ここで，複数
スクリーン配置されているプレゼンテーション会場であっても，各スクリーンに表示される映像は同じである．そのため会場に存在する全てのスクリーンに対して同じ映像が出力され，メインスクリーンにおいてもデジタルカーソルが現れる．よって指示箇所の検出の段階で，メインスクリーンにデジタルカーソルが表示されることを考慮した検出方法を検討する必要がある．
カメラの映像中から物体を検出する方法の 1 つとして，カメラによって撮影される映像における連続する前後の動画像フレームを各ピクセルごとに比較する方法がある [11]．これは動体検出の場合に有効であり，レーザポインタや指し棒の検出にも有効であると考えられる．しかしデジタルカーソルが表示される場合，デジタル
カーソルも動体として検出されてしまい，レーザポインタの投影点を単体で検出するのが難しくなる．よって今回は，ウェブカメラからの動画像フレームと，PC から

第3章

提案するプレゼンテーション支援システム

9

スクリーンに送られる出力映像の 2 つを用いて，レーザポインタや指し棒の検出を行う．カメラにより撮影された動画の各フレームとしての，スクリーンに投影されるプレゼンテーションスライドと，デジタルカーソルが表示されたプレゼンテーショ
ンスライドを図 3.1 のように比較することで，得られる差分領域から，発表者の指示箇所の検出を行う．発表に使用するプレゼンテーションスライドの例を図 3.2 に，
スクリーンに投影したプレゼンテーションスライドを図 3.3 に示す．ウェブカメラ
によって撮影されたスクリーンの画像は，歪んでおり，色もオリジナルのデータとは異なっている．2 つの画像中のプレゼンテーションスライドを比較するため，動画像フレーム中のプレゼンテーションスライドの座標を PC ディスプレイ中のプレ
ゼンテーションスライドの座標へ対応付けた上で，それぞれを比較することで，指示箇所を検出する方法について検討する．

3.2

メインスクリーンの指示箇所の検出

3.2.1

座標の対応付けと差分領域の抽出

ウェブカメラの動画像フレーム中の歪みのあるプレゼンテーションスライドと，元のプレゼンテーションスライドデータを比較する方法を説明する．テンプレートマッ
チングや特徴量マッチングは 2 つの画像間のマッチングを取るベーシックな方法である．テンプレートマッチングは，画像中のピクセルを順次比較し入力画像の類似箇所を探索する．大きさや，微妙な角度の違いで，類似度が大幅に低下する．また，
画像サイズに応じて処理時間が増加する．それに対して，特徴量マッチングでは，画像中の度勾配などから特徴抽出を行い，得られた特徴量に基づいて類似点の比較が行われる．テンプレートマッチングと比べて，拡大縮小や回転，証明変化に強いた
め，今回は特徴量マッチングを採用する．
特徴量マッチングにはいくつかの手法が存在する．SIFT (Scale-Invariant Feature

Transform) [13]，SURF (Speed-Upped Robust Feature) [14]，KAZE [15]，AKAZE [16]などである．SIFT では，ガウシアンフィルタを通した入力画像から，輝度勾配のヒ
ストグラムに基づく特徴点候補を求め，スケール変化，回転変化に頑強な特徴量を抽出する．SURF は，SIFT を高速化したものである．KAZE は，SIFT や SURF の第3章

提案するプレゼンテーション支援システム

102TGUGPVGT

2% YKVJ %COGTC2TQLGEVQT%QORCTG

5NKFGFCVCKPUKFGCEQORWVGT#UNKFGKOCIGVCMGPD[CYGDECO

図 3.1: スクリーン上の指示箇所の検出方法

欠点を修正したものであり，ロバスト性が向上し，処理も高速化している．AKAZE
は，KAZE の高速化を行ったもので，KAZE の高い認識精度を保ちつつ，計算時間を大幅に短縮している．特徴量の検出精度及び計算時間が短いことから，提案するシステムにおける，表示するスライド画像と撮影された動画像フレームの特徴量の検出には AKAZE を使用する．

2 つのスライドが写っている画像の比較の流れについて説明する．実際には，スライドそのものの画像と，カメラにより撮影されたスライドを含む画像である．ウェ
ブカメラにより撮影された画像からプレゼンテーションスライドが写っている領域

第3章

提案するプレゼンテーション支援システム

図 3.2: PC 内部のスライドの例

11

図 3.3: スクリーンに投影されたスライドの例を見つけるため，特徴点を検出するステップと，2 つの特徴点のマッチングを行うス
テップに分けて説明する．最初に，解像度を落とした 2 つの画像から特徴量抽出を行う．上述の通り特徴量の抽出には AKAZE を使用する．片方の画像中の特徴点候補と他の画像中の特徴点候補との類似度を比較し，最近傍の特徴量を得る．マッチ
ング行った 2 枚の画像を横方向に連結し，対応点を線で繋ぎ可視化したものを図 3.4に示す．2 つの画像中における特徴点のうち，特徴量の距離が近いもの同士を直線で結んでいる．結果画像からわかる通り，誤ってプレゼンテーションスライドの異なる点を結んでいる直線が存在する．よって，得られたマッチング結果のうち，より特徴量距離が近い上位の組み合わせのみを信頼する．得られたマッチング結果の特徴点座標より，2 つの画像中に写っている同じ物体の位置や姿勢を対応付ける射
影変換行列を得る．撮影された動画像フレームに対して，得られた射影変換行列を掛けることで，撮影された動画像フレーム中のプレゼンテーションスライドと，PCのスクリーンに表示されているプレゼンテーションスライドの座標対応付ける．次に，2 つの画像中のプレゼンテーションスライドが写っている各ピクセルの色情報の比較を行い，差分を抽出する．差分比較は，RGB チャンネル及び HSV チャンネ
ルそれぞれについて行い，比較後に差分領域を統合する．ピクセル比較の前後それ
ぞれにおいて，メディアンフィルタを用いた平滑化処理を行い，比較後にはノイズと考えられる小さな差分領域の除去処理を行う．大まかなプレゼンテーションスラ
イド比較の流れを図 3.5 に示す．

第3章

提案するプレゼンテーション支援システム

12

図 3.4: 2 つの画像の特徴点

3.2.2

レーザポインタを用いる場合の指示箇所の検出

レーザポインタを用いる場合の指示箇所の検出について説明する．レーザポイン
タは，スクリーンとの距離が離れていても，発表者の手の小さな動きで特定箇所を指し示すことができることが利点であり，使用の際にもスクリーンからある程度離れて使われると想定される．したがって，メインスクリーンが発表者で隠れることはなく，ウェブカメラを用いてスクリーン上のプレゼンテーションスライド全体を撮影できるものとする．プレゼンテーションスライド上に写り込むのはレーザポイ
ンタのみであり，その投影点として，いくつかのピクセルを含む領域が差分として抽出される．得られた差分領域の重心座標を求め，発表者の指示箇所とする．

3.2.3

指し棒を用いる場合の指示箇所の検出

指し棒を用いる場合の指示箇所の検出について説明する．指し棒を使用する場合，
レーザポインタを使用する場合と異なり発表者はスクリーンのそばに位置する．したがって，カメラから見たときにスクリーンと発表者が重なり合い，発表者によりプレゼンテーションスライド全体が写らない可能性がある．これによりカメラ動画
像フレームにて得られる特徴量の数が変化し，適切なマッチング結果を得られない．
正しいマッチングを得るため，取得した動画像フレームとプレゼンテーションスラ
イドをいくつかの領域に分割し，それぞれの領域について個別に特徴量マッチング

第3章

提案するプレゼンテーション支援システム

13

図 3.5: プレゼンテーションスライド比較の流れを行う．例えば，図 3.6 のように赤線の位置で 4 つの領域に分割する場合，左上領
域，右上領域，左下領域，右下領域のそれぞれについて特徴量マッチングを行う．分
割した領域の特徴量から射影変換行列を計算すると，適切なマッチングが行えている領域からは同じような移動量，回転量が得られるはずである．他の領域や，直前の処理フレームにおける移動量から大きく外れた値が得られた場合は，発表者が映り込み，特徴量のマッチングがうまくいかなかったと判断し，外れ値として除く．外
れ値を除いた移動量及び回転量の平均から，再度射影変換行列に直したものを，最終的な変換行列とする．次に，得られた差分領域からの指示箇所の特定について説明する．抽出された差分領域には，指し棒及び発表者の姿が写り込む．佐藤らは，発第3章

提案するプレゼンテーション支援システム

14

図 3.6: マッチングを行う 2 枚の画像を縦横 2 分割した例

表用スクリーンに投影された画面を操作パネルとみなし，指し棒を用いて操作するシステムを提案しており，論文中で指し棒を用いた指示箇所の検出方法について述べている [17]．論文中にて，スクリーンは比較的上の方に配置されることから，指し棒を下に向けて指すことがあまりないことが言及されており，指し棒が常に水平より上方を向いているものとしてシステムを実装している．まず，ハフ変換アルゴ
リズムを用いて差分画像から線分を検出する．プレゼンテーションスライド座標における，得られた線分の両端 2 点の座標を，(x0 , y0 )，(x1 , y1 ) とすると，得られた直線の傾き角 θ [度] は，以下の式で表せる．

θ = tan−1 (|y0 − y1 |) ÷ π × 180|x0 − x1 |(3.1)

ここで上述の条件より，指し棒が一定角度内で使用されるとする．指示棒を使用する
際の最小の傾きを θmin [度]，最大の傾きを θmax [度] として，以下の制限を加える．

θmin < θ < θmax

(3.2)

条件を反映させて，得られた直線のうち，最も上の垂直座標上の点を指示棒の先端，
すなわち発表者の指示箇所とする．

3.3

各スクリーンへの指示箇所の表示

前節で検出した発表者の指示箇所を，会場にある各スクリーンに表示することで，聴衆への伝達を行う．Microsoft PowerPoint などの，プレゼンテーション用ソフト

第3章

提案するプレゼンテーション支援システム

15

ウェアを独自に製作するのは時間や手間がかかる．また，発表者は普段から使い慣れたプレゼンテーション用ソフトウェアを使いたいだろう．よってデジタルカーソ
ルの表示は，既存のプレゼンテーションソフトウェアとは分離して，別のソフトウェ
アとしてスクリーン上に重畳表示することにより実現する．
実験システムの作成には，Windows API で用意されているレイヤードウィンド
ウ [18] を使用した．レイヤードウィンドウは，下のレイヤに位置するウィンドウとアルファブレンディングすることで，色を混ぜ合わせるウィンドウである．言い換
えれば，図 3.7 のような透明なウィンドウが作成できる．また，ウィンドウ上に透明度情報を有する画像を表示できる．これらの機能を用いて，プレゼンテーション用
ソフトウェアを使用して表示したスライドの上にデジタルカーソルを表示する．レイヤードウィンドウをアクティブ化せずに表示することにより，プレゼンテーショ
ン用ソフトウェアの操作を阻害することなく指示箇所の伝達を行える．表示するデ
ジタルカーソルは，メインスクリーンにてレーザポインタの投影点の検出の阻害をしないよう図 3.8 のように中心を開けた形状とした．デジタルカーソルの重畳表示を行ったスクリーンの出力画像を図 3.9 に示す．

第3章

提案するプレゼンテーション支援システム

図 3.7: 透明ウィンドウの例（文献 [19] より引用）

16

第3章

提案するプレゼンテーション支援システム

図 3.8: デジタルカーソルの例

図 3.9: デジタルカーソルを重畳表示したプレゼンテーションスライドの例

17

18

第4章

4.1

実験

実験概要

前章での提案をもとに支援システムを構築し，指示箇所の検出及びデジタルカー
ソルの表示が行われること及びその効果を確認する検証実験を行った．実験は，会場正面のメインスクリーンの他に，サブスクリーンとして液晶ディスプレイが 8 台配置された教室で行った．本システムを動作させるためのハードウェアとして，ノート PC，ウェブカメラを使用した．実験に使用したノート PC のスペックは，CPU がIntel Core i7-6500U，メモリが 8GB である．プレゼンテーションスライドの表示に使用するプレゼンテーション用ソフトウェア及び構築したプレゼンテーション支援システムを，ノート PC 上で動作させる．カメラは USB 接続のウェブカメラを使用
し，ノート PC と接続されている．最大解像度は縦 1080 ピクセル，横 1920 ピクセ
ル，最大フレームレートは 30 fps であり，安価に入手できるものである．撮像範囲にスクリーン全体が写り，撮影範囲の中心におおよそプレゼンテーションスライドの中心が写るよう配置した．比較的，処理時間の必要な特徴量抽出処理は，差分抽出処理と別のスレッドに分けることでマルチコア CPU の機能により簡易的に並列処理を行っている．デジタルカーソルの表示更新は平均で 10 fps であり，指示箇所の検出から表示までの処理をリアルタイムに行うことができる．プレゼンテーション
スライドの指示に使用したレーザポインタ及び指し棒は一般的なものである．レー
ザポインタの投影光は赤色である．使用した指し棒のロッド部分は金属であり，先端部分はプラスチックがである．なお本実験では，上方向を向いていると想定している指し棒の検出最小角度 θmin を 20 [度]，検出最大角度 θmax を 70 [度] とした．

第4章

実験

4.2

結果と考察

19

システムで比較に用いたカメラの撮影画像を図 4.1 に示す．また，指し棒を使用した場合の比較用カメラ画像を図 4.2 に示す．プロジェクタによりスクリーンに投影されたプレゼンテーションスライド上の指示箇所に，デジタルカーソルが表示されるのを確認した（図 4.3）．また，指示箇所を，プレゼンテーションスライド上において，上下，左右，斜めに動かし，デジタルカーソルがそれに追従することを確認した．これらは，プレゼンテーションスライドのピクセル領域の射影変換が正常に行われていることを示している．図 4.4 のように，プレゼンテーションスライドと重なって発表者の一部及び指し棒が写り込んでいる場合にも同様に，指示箇所にデジタルカーソルが表示されるのを確認した．レーザポインタによる指示，指し棒による指示のそれぞれの場合において，概ね良好に動作した．しかし，指示箇所を動かす際に，指示箇所と異なる場所にデジタルカーソルが表示される動きも見られた．原因として，ノイズが除去しきれていないこと，比較画像において映像出力から撮影までの遅延が存在することによる，デジタルカーソル位置の不一致が考えられる．また，会場の中程に位置するディスプレイモニタを図 4.5 に，最も後方に位置するディスプレイモニタを図 4.6 に示す．スライド左上に赤い丸印のデジタルカー
ソルが確認できる．メインスクリーンと大きく距離が離れているため，メインスク
リーンのスライドや，レーザポインタの投影点は画像上で確認できない．また，撮影用のカメラを通さず直接視認することも難しい状況であった．それぞれのモニタにもデジタルカーソルの表示が反映されており，発表者の指し示している場所を確認することができた．また後方の席から視聴していた実験参加者からも，発表者の指示箇所が不明瞭な場合でも，サブスクリーンを見ることでどこの説明を行っているか把握でき，理解しやすいとの声を頂いた．メインスクリーンを撮影したカメラ
映像から指示箇所の検出を行い，それをサブスクリーンへ伝達することがが可能であることが確認できた．

第4章

実験

20

図 4.1: レーザポインタ使用時のシステムのカメラの撮影画像

第4章

実験

21

図 4.2: 指し棒使用時のシステムのカメラの撮影画像

第4章

実験

22

図 4.3: レーザポインタ使用時の正面スクリーンの撮影画像

第4章

実験

23

図 4.4: 指し棒使用時の正面スクリーンの撮影画像

第4章

実験

24

図 4.5: 会場中程のディスプレイモニタ

第4章

実験

25

図 4.6: 会場最後方のディスプレイモニタ

26

第5章

むすび

本研究では，マルチスクリーン会場において，発表者の指示箇所を検出しそれをス
クリーン上に反映させることで，発表者の指示動作を視認できない聴衆に指示箇所を伝達するプレゼンテーション支援システムを提案した．実験により，発表者の指示動作を直接視認できない位置においても，サブスクリーンよりプレゼンテーショ
ンスライド上の指示箇所がわかることを確認した．今後の課題としては，指示箇所の検出精度を高めることや，様々な異なる条件下で動作確認を行うことが挙げられる．使用するスクリーンのサイズや指し棒の形状などは，会場や発表者により異なる．実験スライドには白背景のスライドを用いたが，スライドの内容も発表者により様々である．より汎用的に使えるシステムを目指し，細かな問題点を洗い出すため，異なる条件下で多くの人に使用してもらう必要がある．また，遠隔での講義や発表においても想定される環境や生じる問題が類似しており，本システムが応用できる可能性があると考えられる．

27

謝辞

本研究を進めるにあたって，日頃から多大な御尽力を頂き，御指導を賜りました
名古屋工業大学，舟橋健司准教授，伊藤宏隆助教に心から感謝致します．また，本研究に多大な御協力頂きました舟橋研究室諸氏に深く感謝致します．本研究の一部
は JSPS 科研費 JP20K11918 の助成を受けたものです．

28

参考文献

[1] 岡田智成, 山本哲也, 寺田努, 塚本昌彦, “ウェアラブル MC システム: 司会進行を支援するウェアラブルシステムの設計と実装”, コンピュータソフトウェア,

Vol. 28, No. 2, pp. 162-171, 2011.
[2] 井上良太, 白松俊, 大囿忠親, 新谷虎松, “発表中の資料へのフィードバックに基づくインタラクティブプレゼンテーションシステムの実現”, 情処学論, Vol. 56,

No. 10, pp. 2011-2021, 2015.
[3] 趙新博, 由井薗隆也, “ノンバーバル表現に注目したプレゼンテーション支援システ
ムの提案”, 研究報告ヒューマンコンピュータインタラクション（HCI）, Vol. 2014-

HCI-157, No. 42, pp. 1-6, 2014.
[4] 梅村恭司, 梅村真由, “Kuroko: 話者シルエットを活用するプレゼンツール”, 情報処理学会シンポジウム論文集, Vol. 2012, No. 3, pp. 281-286, 2012.

[5] Kenji Funahashi, Yusuke Nakae, “Getting Yourself Superimposed on a Presentation Screen”, Proceedings of the 2nd ACM symposium on Spatial user interaction, pp. 138-138, 2014.
[6] 近畿大学 工学部・大学院 システム工学研究科, “情報教育センター | メディアセンター”, https://www.kindai.ac.jp/engineering/about/facility/media-center/detail/ (2021 年 1 月 17 日閲覧).
[7] 通信機工事株式会社, “映像音響システム”,
https://www.tusin.co.jp/publics/index/32/ (2021 年 1 月 17 日閲覧).

29[8] TOWA ENGINEERING CORPORATION, “追手門学院大学 様 | 学校・教育施
設 | ケーススタディ一覧”, https://www.towaeng.co.jp/case-study/case117/(2021 年 1 月 17 日閲覧).
[9] KOKUYO Co.,Ltd., “商品仕様 | PC プレゼンポインター＜エアビーム＞”,
https://www.kokuyo-st.co.jp/stationery/pcp/spec.html (2021 年 1 月 22 日閲覧).
[10] Shinji Sugawara and Tetsuya Miki, “A Remote Lecture System with Laser
Pointer for the Internet and Broadband Networks”, Bulletin of the University ofElectro-Communications, Vol. 16, No. 2, pp. 117-123, 2004.
[11] Toshiharu Wada, Masanobu Takahashi, Keiichiro Kagawa and Jun Ohta,“Method to Realize Mouse Functions Using Laser Pointer”, The journal of
the Institute of Image Information and Television Engineers, Vol. 63, No. 5,
pp. 657-664, 2009.
[12] 張進, 志築文太郎, 田中二郎, “レーザポインタストロークを利用する大画面向
けインタラクション手法”, 第 70 回情報処理学会全国大会講演論文集, Vol. 4,

pp. 231-232, 2008.
[13] David G. Lowe, “Distinctive image features from scale-invariant keypoints”,
Proceedings of International Journal of Computer Vision, Vol. 60, No. 2,
pp. 91-110, 2004.
[14] Herbert Bay, Tinne Tuytelaars, and Luc V. Gool, “SURF: Speeded Up Robust
Features”, Proceedings of the 9th European Conference on Computer Vision,
pp. 404-417, 2006.
[15] Pablo F. Alcantarilla, Adrien Batroli and Andrew J. Davison, “KAZE features”,
Proceedings of the 12th European Conference on Computer Vision, pp. 214-227,
2012.

30

[16] Pablo F. Alcantarilla, Jesus Nuevo and Adrien Bartoli, “Fast Explicit Diﬀusion
for Accelerated Features in Nonlinear Scale Spaces”, Proceedings of the British
Machine Vision Conference 2013, pp. 13.1-13.11, 2013.
[17] 佐藤周平, 柴山悦哉, 高橋伸, “指示棒の認識を用いたプレゼンテーションシステ
ムの構築”, コンピュータソフトウェア, Vol. 17, No. 3, pp. 269-272, 2000.

[18] Microsoft, “Window Features - Win32 apps”, https://docs. microsoft.com/enus/windows/win32/winmsg/window-features(2021 年 1 月 25 日閲覧).
[19] Microsoft, “Windows と C++

Direct2D に よ る レ イ ヤ ー ド ウィン ドウ”, https://docs.microsoft.com/ja-jp/archive/msdn-magazine/2009/december/windows-with-c-layered-windows-with-direct2d (2021 年 1 月 25 日閲覧).

31

発表論文リスト

1. 柴田大地, 小林勇輝, 舟橋健司, “全天球カメラ内蔵マイクを利用して質問者を重畳表示するプレゼンテーション支援システム”, NICOGRAPH2019 講演論文
集, C-11, 5pages, 2019.

2. Daichi Shibata, Kenji Funahashi, “Camera Based Presentation Support System
for Multiscreen Venue Using Laser Pointer”, IEEE-GCCE 2020, pp.750-754,
2020.