情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-08
2024/2/28

真似て選択するデジタルサイネージにおける適切なジェスチャ方式の調査
坂内 武希1

須賀 美月1

土岐田 力輝1

呉 健朗2

古野 雅人2

市川 裕介3

宮田 章裕1,a)

概要：デジタルサイネージに複数のコンテンツが表示されている状況において，デジタルサイネージとスマートフォンを連携させる場合，ユーザはデジタルサイネージから対象のコンテンツを 1 つ選択する必要がある．しかし，NFC タグやカメラ等を用いた従来方式では，ユーザへの制約・操作負担が大きいという問題があった．この問題を解決するために我々は，デジタルサイネージの複数のコンテンツの中からスマートフォンと連携させるものを選択する方法として，アイコンの動きを真似るデジタルサイネージ選択方式を提案した．しかし，アイコンの動きを真似る際に行う手法は利用シーンによって適切なものが異なると考えられる．よって本研究ではアイコンの動きを真似る際に，実装済みであった腕を振ってジェスチャを行う方式と，新規に実装したタッチディスプレイ上で指を滑らせてジェスチャを行う方式の比較を行い，長所・短所を明らかにすることを研究課題とした．両手法の実装方法をサーバ，スマートフォンクライアント，サイネージクライアントに分けて示した．両手法の長所・短所を明らかにするにあたっての仮説を立て，現段階で検討中の実験計画の議論を行った．

1. はじめにデジタルサイネージに表示されている複数のコンテンツなく，ジェスチャインターフェースを用いた選択手法は数多く提案されている．本章では，これらの手法について，ユーザの選択対象を特定する手法別に紹介する．

から 1 つ選択する時，NFC タグやカメラ等を用いた従来方式では，デジタルサイネージとユーザ間の距離や人・物の2.1 デジタルサイネージにおける選択手法存在に関する制約・操作負担が大きいという問題があった．

Hardy ら [2] は，タイル状に敷き詰めた NFC タグ上に映この問題を解決するために先行研究 [1] では，デジタル像を投影するデジタルサイネージシステムを提案した．こサイネージ上に複数のコンテンツが存在するシーンにおいのシステムは，ユーザが NFC リーダ搭載のスマートフォンて，各コンテンツに一意に関連付けられたアイコンの動きをデジタルサイネージ上の任意の位置に接触させることでを真似るジェスチャを行うことで任意のコンテンツを選択該当位置をポインティングすることをできるものである．

できる手法を提案してきた．
本稿では，この手法において，実装済みであった腕を振ってジェスチャを行う方式と，新しく実装するタッチディス

Seewoonauth ら [3] も同様のシステムを構築した．彼らのシステムはディスプレイの裏面に NFC タグが敷き詰められている．

プレイ上で指を滑らせてジェスチャを行う方式を比較し，Shoot & Copy[4] は，スマートフォンのカメラで撮影し両手法の長所・短所を明らかにするための実験計画を議論たデジタルサイネージ上の領域を判定し，その領域にあるする．

コンテンツをスマートフォン上にコピーするシステムであ2. 関連研究る．撮影領域の判定は，撮影画像とデジタルサイネージ上の各領域の画像類似度に基づいて行われる．

スマートフォンを用いて，デジタルサイネージ上の特定Touch Projector[5] は，デジタルサイネージ上のオブジェ

領域や特定コンテンツを選択するための手法が数多く提クトをスマートフォンのビデオカメラで撮影することで，案されている．また，デジタルサイネージに限定すること当該オブジェクトをポインティングできる仕組みである．
ユーザが複数あるデジタルサイネージの中から任意の 1 つ123a)

日本大学 文理学部 情報科学科
ソフトバンク株式会社
埼玉大学教育機構
miyata.akihiro@acm.org© 2024 Information Processing Society of Japanを撮影すると，デジタルサイネージ上のオブジェクトの配置が画像処理によって認識され，どのデジタルサイネージ

662

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-08
2024/2/28が撮影されているか判定される．

Shirazi ら [6] は，デジタルサイネージの前に設置したカメラでスマートフォンのフラッシュライトを検出することで，ユーザがデジタルサイネージ上のどの位置にスマートフォンをかざしているか判定する方式を提案した．これにより，ユーザはデジタルサイネージ上の任意の位置をポインティングすることができる．

PhoneTouch [7] は，スマートフォンでディスプレイをタッチすることで，ディスプレイ上の任意位置をポインティングすることができるシステムである．ユーザがスマートフォンでタッチした位置は，ディスプレイの役割を果たすスクリーンの裏側に設置したカメラを用いて検出

図 1

腕を振ってジェスチャを行う方式

する．このシステムはテーブルトップインタフェース向けであるが，原理的にはデジタルサイネージにも応用可能である．

2.2 ジェスチャインタフェースによる選択手法
Tao ら [8] は，ユーザが空中で手を動かすことによって入力を行う，フリーハンドジェスチャで任意の項目を選択する時の精度の向上を行った．手首の傾きと，複数のピンチジェスチャによって制御され，選択する項目に傾きとピンチジェスチャをマッピングすることにより実現している．

Jason ら [9] は，足を使ったジェスチャで入力を用いている．一般的なモバイルデバイスのコマンドをジェスチャにマッピングすることによって実現している．ユーザの手が汚れていてふさがっている，上半身のスペースが確保でき

図 2

タッチディスプレイ上で指を滑らせるジェスチャ方式

ず使えない状況での代替的なジェスチャとして有効である．

3. 研究課題

そこで本研究では，これまでに実装済みであった腕を振ってジェスチャを行う方式と，新規に実装するタッチデジタルサイネージ上で任意のコンテンツを 1 つ選択す

ディスプレイ上で指を滑らせてジェスチャを行う方式を比るシーンにおいて，2 章で紹介した従来手法である NFC タ較し，両手法の長所・短所を明らかにすることを研究課題

グを用いた手法 [2], [3] ではデジタルサイネージに近づく必とする．

要がある．カメラ等を用いた手法 [4], [5], [6], [7], ではデジ
タルサイネージとユーザの間に人や物が存在してはいけないという問題がある．
この問題に鑑み，我々はこれまでに，各コンテンツに固有4. 調査手法
本稿では研究課題達成のための第一歩として，実験用システムを実装し，実験計画を議論する．実験用システムとに定義されたジェスチャを腕を振って実行することで，当該して次の手法を用いる．

コンテンツを選択できる手法を提案してきた [1], [10], [11]．

手法 1

腕を振ってジェスチャを行う方式

この手法を各学会等の場でデモンストレーションしてい手法 2

タッチディスプレイ上で指を滑らせてジェスチャたところ，腕を振ってコンテンツを選択する操作に楽しさを行う方式を覚える人がいた一方，公共空間で腕を振るジェスチャをの 2 つを実装した．昨今様々なジェスチャインターフェー行うのは恥ずかしい等の意見もあり，どのようなジェススによる選択手法がある中で，最も多く用いられているのチャがユーザに受け入れられるのか不明瞭であった．

は手である [12], [13]．よって，手によるジェスチャインユーザが身体を用いてジェスチャを行う方法は多数存在ターフェースが適切であると考える．手法 1 については先する．例えば，足を用いる手法 [9] や手を用いる手法 [8] が行研究 [1] にて実装済みで，手法 2 については新規に実装存在する [12], [13]．この中でも，ジェスチャを行う手法としたシステムである．手法 1 を図 1，手法 2 を図 2 に示す．

してよく用いられており，入力時の負担が少ないと思われ両手法の具体的な実装方法は次章で述べる．

る，手を用いる手法に着目する．

© 2024 Information Processing Society of Japan663

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2A-082024/2/28

図 4

図 3

サイネージ画面

システム構成図

5. 実装
本章では，4 章で述べた手法 1，手法 2，デジタルサイネージの実装方法について示す．本システムは，サーバ，スマートフォンクライアント，デジタルサイネージからな

図 5

アイコンの動作パターン

るクライアントサーバモデルで実装する．全体のシステムの構成図を図 3 に示す．

系列データとしてサーバへ送信する．ユーザのジェスチャによって送信されたデータとアイコンの動きのマッチング

5.1 サーバ

結果として返ってきたコンテンツの内容をスマートフォン

サーバでは，スマートフォンクライアントから送られての画面に表示する．コンテンツ表示後にユーザがすぐに次きた時系列データを受け取り，アイコンの動きとユーザののジェスチャを行えるように，データを計測するためのトジェスチャの類似度を算出し，アイコンの動きと結び付けリガーは画面上部に表示したままにする．

られたコンテンツをスマートフォンクライアントへ送信する．類似度の算出には Dynamic Time Warping（DTW）

5.3 サイネージクライアントを用いる．アイコンの動作時間とユーザの行ったジェス

デジタルサイネージクライアントでは，デジタルサイチャが異なる場合であっても，類似度を測ることができる

ネージ上にコンテンツとそれに対応したアイコンを表示すため DTW を採用した．

る．図 4 に実際のデジタルサイネージの画面を示す．表示

算出した DTW 距離が最小となるアイコンの動きと対応するアイコンは図 5 のようなシンプルなものである．ア

するコンテンツをマッチング結果として，アイコンの動きイコンは動作時間帯にのみ表示されており，アイコンの動に結び付けられたコンテンツをスマートフォンクライアン

作時間以外はアイコンの軌跡のみが表示される．これは，トへ送信する．なお，手法 1 において，計算量削減のためユーザがアイコンの動きを記憶しなくて済むようにするたにスマートフォンクライアントから受け取った加速度デーめである．表示するコンテンツは URL パラメータで，任タには，スケーリング，次元削減などを施している．

意のサイネージコンテンツを表示することができる．デジタルサイネージクライアントは JavaScript で Web アプリ

5.2 スマートフォンクライアント
スマートフォンクライアントでは，手法 1 で加速度，手法 2 で画面上の座標の計測を行い，両手法ともマッチング結果として返ってきたコンテンツの表示を行う．手法 1 ではスマートフォンの画面上部に表示したボタンが押されている間に，腕を振るジェスチャが行われると，その時の加速度センサ値を計測し，計測した加速度センサ値を時系列ケーションとして実装しているため，Web ブラウザがあれば，OS を問わず様々なデバイスをデジタルサイネージとして使用することができる．

6. 検証実験3 章の研究課題を達成するために，手法 1 と手法 2 の比較を行う．本章では，実験計画を議論する．

データとしてサーバへ送信する．手法 2 ではスマートフォンの画面上部に表示されている枠内で指を滑らせている間の画面上の軌跡の座標を計測し，計測した軌跡の座標を時© 2024 Information Processing Society of Japan

6.1 目的
本実験では，2 つの手法を比較し，長所・短所を明らか

664

情報処理学会 インタラクション 2024
IPSJ Interaction 2024にするにあたって，2 つの仮説を立てた．

H1 楽しさという観点において，手法 1 の方が手法 2 に比べて優位である．

H2 手法 2 の方が手法 1 に比べて恥ずかしさを感じにくい
H3 ユーザの操作負荷は両手法同等である．

2A-08
2024/2/28

両手法のアンケート結果を元に比較を行い，両手法の長所・短所を明らかにする．

7. おわりに
本稿では，先行研究で提案した真似て選択するデジタル

H4 スマートフォンを操作するにあたって，画面上の操サイネージシステムにおいて，タッチディスプレイ上で指作の方が使用する頻度が多いため，手法 2 の方がすぐを滑らせてジェスチャを行う方式を追加した．実装済みのに習得できる．

腕を振ってジェスチャを行う方式とタッチディスプレイ上

上記の仮説の検証を行うことを実験の目的とする．

で指を滑らせてジェスチャを行う方式の比較を行い，両手法の長所・短所を明らかにすることを目的とした実験の計

6.2 測定方法・評価指標
本実験では，両手法の精度の検証として，ジェスチャマッチング結果を用いる．評価指標として，客観的な使い画を議論した．
今後は，本稿で議論した実験計画に基づき実験を行い，両手法の長所・短所を明らかにしていく．

やすさ，ユーザビリティや操作性を定量的に評価するために System Usability Scale（SUS）（5 段階リッカート尺度）

参考文献を用いる．質問項目は以下に示す．

[1]

1 このシステムを頻繁に利用したいと感じた
2 このシステムは不必要に複雑だと感じた[2]

3 このシステムは使いやすいと感じた
4 このシステムを利用するには技術者のサポートが必要であると感じた

5 このシステムの様々な機能がまとまっていると感じた[3]

6 このシステムにはちぐはぐな点があると感じた
7 このシステムの使い方は多くの人がすぐに習得できると感じた

8 このシステムは非常に扱いにくいと感じた[4]

9 このシステムを使いこなせると確信できる
10 このシステムを使い始めるまでに学ぶべき内容が多かった
上記の項目だけでは「楽しさ」「恥ずかしさ」に関する結果を得ることができないため，2 つの指標を評価できる項[5]目を設ける．項目を設けるにおいて，既存の項目を用いるか独自の項目を用いるかは現在検討中である．

6.3 実験環境・手順[6]

実験環境において，不特定多数の人の視線を感じながらジェスチャを行うことができなければ，評価項目である「恥ずかしさ」に関する正確な結果を得ることができないという問題が生じるため，人目の多いところで実験を行う[7]必要がある．
実験システムは 4 章で述べた通りに実装した．
実験は以下の手順で行う．

[8]

Step1 実験参加者は実験者が指定した方式で全 8 パターンのジェスチャを各 2 回行う．

Step2 実験参加者は終了後に，6.2 で述べた評価指標に基づいたアンケートに回答してもらう．

Step1,2 を手法を入れ替えて行う．なお，手法の順番はランダムとする．

© 2024 Information Processing Society of Japan[9]宮田章裕： 真似て選択するデジタルサイネージ，マルチメ
ディア, 分散協調とモバイルシンポジウム 2016 論文集，Vol. 2016, pp. 1350–1356 (2016).
Hardy, R., Rukzio, E., Wagner, M. and Paolucci, M.:
Exploring expressive NFC-based mobile phone interaction with large dynamic displays, 2009 First International Workshop on Near Field Communication, pp.
36–41 (2009).
Seewoonauth, K., Rukzio, E., Hardy, R. and Holleis,P.: Touch & Connect and Touch & Select: Interactingwith a Computer by Touching It with a Mobile Phone,
Proc. the 11th International Conference on HumanComputer Interaction with Mobile Devices and Services(MobileHCI ’09) (2009).
Boring, S., Altendorfer, M., Broll, G., Hilliges, O. andButz, A.: Shoot & Copy: Phonecam-Based Information
Transfer from Public Displays onto Mobile Phones, Proc.
the 4th International Conference on Mobile Technology,Applications, and Systems and the 1st International
Symposium on Computer Human Interaction in Mobile
Technology (Mobility ’07), pp. 24–31 (2007).
Boring, S., Baur, D., Butz, A., Gustafson, S. and Baudisch, P.: Touch Projector: Mobile Interaction throughVideo, Proc. the SIGCHI Conference on Human Factors in Computing Systems (CHI ’10), p. 2287–2296(2010).
Shirazi, A. S., Winkler, C. and Schmidt, A.: Flashlight
Interaction: A Study on Mobile Phone Interaction Techniques with Large Displays, Proc. the 11th International
Conference on Human-Computer Interaction with Mobile Devices and Services (MobileHCI ’09) (2009).
Schmidt, D., Chehimi, F., Rukzio, E. and Gellersen, H.:
PhoneTouch: A Technique for Direct Phone Interaction
on Surfaces, Proc. the 23nd Annual ACM Symposium
on User Interface Software and Technology (UIST ’10),
pp. 13–16 (2010).
Ni, T., Bowman, D. A., North, C. and McMahan, R. P.:
Design and evaluation of freehand menu selection interfaces using tilt and pinch gestures, International Journalof Human-Computer Studies, Vol. 69, No. 9, pp. 551–562 (2011).
Alexander, J., Han, T., Judd, W., Irani, P. and Subramanian, S.: Putting your best foot forward: investigating
real-world mappings for foot-based gestures, Proceedingsof the SIGCHI Conference on Human Factors in Com-665

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

[10]

[11]

[12]

[13]

2A-08
2024/2/28

puting Systems, pp. 1229–1238 (2012).
須賀美月，松井優季，新山はるな， 呉健朗，森岡優一，
古野雅人，宮田章裕： デジタルサイネージ向けのアイコン動作を真似る選択方式の検証，マルチメディア, 分散, 協
調とモバイルシンポジウム 2023 論文集， Vol. 2023, pp.
1110–1114 (2023).
Suga, M., Matsui, Y., Niiyama, H., Go, K., Furuno, M.
and Miyata, A.: Study on a Content Selection Method byMimicking Icon Movements for Digital Signage, PosterProc. The 29th International Conference on Collaboration Technologies and Social Computing (CollabTech’23), pp. 25–30 (2023).
Carfı̀, A. and Mastrogiovanni, F.: Gesture-based humanmachine interaction: Taxonomy, problem deﬁnition, andanalysis, IEEE Transactions on Cybernetics (2021).
Karam, M. et al.: A taxonomy of gestures in humancomputer interactions (2005).

© 2024 Information Processing Society of Japan

666