情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1P-73
2023/3/1

真似て選択するデジタルサイネージの改良
須賀美月1

武次優1

今井廉2

尹泰明2

呉健朗3

古野雅人3

宮田章裕1,a)

概要：デジタルサイネージに複数のコンテンツが表示されている状況において，デジタルサイネージとスマートフォンを連携させる場合，ユーザはデジタルサイネージから対象のコンテンツを 1 つ選択する必要がある．しかし，従来方式で選択しようとすると，ユーザへの制約・操作負担が大きいという問題があった．本研究では，デジタルサイネージの中からスマートフォンと連携させるものを選択する方法として，アイコンの動きを真似るデジタルサイネージ選択方式を提案している．これは，ユーザがスマートフォンを把持して各デジタルサイネージ上のアイコン動作と同じタイミングで同じ動きのジェスチャを行うことで，対応するコンテンツを選択できる方式である．先行研究では，アイコンの動作時間帯とユーザがジェスチャを行う時間帯がずれることで，ジェスチャマッチングが失敗する問題があった．この問題に対し，本稿ではアイコンの動作時間帯の間にアイコンが表示されないマージンを設けることで問題解決を目指した．

1. はじめに

2. 関連研究

昨今，デジタルサイネージは商業施設や公共施設など多スマートフォンをデジタルサイネージのコントローラとくの場所に設置されている．その中でも，デジタルサイして利用したり，デジタルサイネージ上の情報のコピー先ネージに複数のコンテンツが表示され，表示されたコンテとしたりするなど，デジタルサイネージとスマートフォンンツを選択することでコンテンツの詳細情報を取得し，自を連携して利用する事例が数多く現れ始めている [2][3]. 本

身のスマートフォンで取得した情報を見ることができるシ章では，これらの事例について，連携対象となるデジタルステムが主流となっている．デジタルサイネージに複数のサイネージの指定方法の観点から紹介する．

コンテンツが表示される場合，ユーザは最初に対象のコンテンツを 1 つ選択する必要がある．しかし，従来方式で指2.1 近距離から指定する事例定しようとすると，ユーザへの制約・操作負担が大きいと連携対象のデジタルサイネージに近距離（接触，あるいいう問題がある．本研究では，デジタルサイネージの複数は，1 メートル程度）まで近づいて指定する方式について述のコンテンツの中からスマートフォンと連携させるもの

べる．Hardy らの研究 [4] は，タイル状に敷き詰めた NFCを選択する方法として，アイコンの動きを真似るデジタル（Near-Field-Communication）タグ上に映像を投影するデサイネージ選択方式を提案している．これは，ユーザがスジタルサイネージである．ユーザは NFC リーダ搭載のスマートフォンを把持して各デジタルサイネージ上のアイコマートフォンをデジタルサイネージ上の任意の位置に接触ン動作と同じタイミングで同じ動きのジェスチャを行うさせることで該当位置をポインティングできる．彼らはデことで，対応するデジタルサイネージを選択できる方式でジタルサイネージが 1 台のシーンのみを紹介しているが，ある．先行研究 [1] では，アイコンが動作している時間帯

原理的には複数のデジタルサイネージの中から任意の 1 つとユーザがジェスチャを行う時間帯がずれることにより，を連携対象として選択できる方式である．

マッチング精度が低下する問題が存在した．この問題を踏Bring Your Own Pointer[5] は，デジタルサイネージかまえ，本稿ではマッチング精度向上を目的とし，各アイコらスマートフォンまでの距離とスマートフォンの回転角かン動作時間帯の間に，どのアイコンも表示しないマージンら，デジタルサイネージ上にポインタを表示させる手法での追加を行ったことについての報告を行う．

ある．この手法はスマートフォンをデジタルサイネージに向けることで，デジタルサイネージ上の任意の場所にポイ

123a)

日本大学 文理学部 情報科学科
日本大学大学院 総合基礎科学研究科 地球情報数理科学専攻
ソフトバンク株式会社
miyata.akihiro@acm.org© 2023 Information Processing Society of Japan

ンティングすることができる．原理的には，一つのデジタルサイネージに対して複数のユーザが同時にアクセスすることができる．

443

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1P-73
2023/3/1

Shoot & Copy[6] は，スマートフォンのカメラで撮影したデジタルサイネージ上の領域を判定し，その領域にあるコンテンツをスマートフォン上にコピーするシステムである. 撮影領域の判定は，撮影画像とデジタルサイネージ上の各領域の画像類似度に基づいて行われる．原理上，この方式はデジタルサイネージが複数あっても機能する．

2.2 中距離から指定する事例
連携対象のデジタルサイネージに中距離（遠くても 3メートル程度）まで近づいて指定する方式について述べる．

Shirazi らのシステム [7] は，デジタルサイネージの前に設置したカメラでスマートフォンのフラッシュライトを検出することで，ユーザがデジタルサイネージ上のどの位置にスマートフォンをかざしているか判定する方式である．デ
ジタルサイネージが複数ある場合でも，それぞれの前にカメラを設置することで，ユーザがどのデジタルサイネージにスマートフォンをかざしているか判定することが原理的には可能である．
福島らのシステム [8] は，スマートフォンを用いて，デジタルサイネージ上のポインタを操作してコンテンツを選択し，スマートフォンにダウンロードできるシステムである．デジタルサイネージ側に深度センサが設置されており，その前でユーザがスマートフォンを振るジェスチャを行うと，当該デジタルサイネージとスマートフォンが通信可能になる．

2.3 遠距離から指定する事例
連携対象のデジタルサイネージに遠距離（遠くても 5メートル程度）まで近づいて指定する方式について述べる．

Davies らのシステム [9] は，Bluetooth を ON にした状態のスマートフォンを，デジタルサイネージ側に設置したBluetooth スキャナで検知する方式である．具体的には，スマートフォンの端末名をコマンドに変更することで，デジタルサイネージに当該コマンドに対応するコンテンツが表示される．一般的なスマートフォンの Bluetooth 通信可
能距離は最大 10 メートルほどであるため，各デジタルサイネージが十分に離れて設置されている状況であれば，複数のデジタルサイネージの中から任意の 1 つを連携対象として選択できる．
宮田らのシステム [10] は災害時向けにデザインされたデジタルサイネージである．これは複数人が同時に利用することができ，ユーザは自身のスマートフォンを用いてデジタルサイネージ上のポインタを操作し，任意のコンテンツを選択することができる．ユーザのスマートフォンに搭載されている GPS センサで計測した位置情報に基づいて，ユーザから近いデジタルサイネージに自動的に接続される仕組みとなっている．

© 2023 Information Processing Society of Japan

3. 研究課題
2.1 節の近距離から指定する方式 [4] [6] はデジタルサイネージの設置場所によって利用することが困難である．デ
ジタルサイネージが天井付近に設置されている場合は近距離に行くことが不可能である．加えて，デジタルサイネージを近距離から撮影して指定する方法 [6] は，商業施設が施設内における撮影を禁止していると利用ができない問題もある．佐藤らのシステム [5] では選択に関する議論は行われていない．

2.2 節の中距離から指定する方式 [7] [8] は人が多くいる場所においては利用が困難である．例えば，Shirazi らのシステム [7] は，デジタルサイネージ側にあるカメラでスマートフォンのフラッシュライトを検知する方法であるが，カメラとフラッシュライトの間に人や物が存在していると上手く動作しない可能性がある．福島ら [8] は，デジタルサイネージ側の深度センサでユーザのジェスチャを認識する方法であるが，これも同様に，深度センサとユーザの間に人や物が存在していると利用できない．

2.3 節の遠距離から指定する方式は [9] [10] はユーザから最も近いデジタルサイネージが特定できない場合がある．
例えば，Davies らのシステム [9] はデジタルサイネージ側に設置した Bluetooth スキャナでユーザを検知する方式であるが，このシステムの利用するためだけに端末名を変更することはユーザに負担がかかりすぎる．宮田らのシステ
ム [10] はスマートフォンの位置情報を元に最寄りのデジタルサイネージを特定する方式であるが，屋内における位置情報の誤差は大きいため，最寄りのデジタルサイネージを正確に特定できない可能性がある．
デジタルサイネージに表示される複数のコンテンツから1 つ選択し，スマートフォンを連携させる場合，ユーザへの制約や操作負担が大きいという問題が存在する．デジタ
ルサイネージとスマートフォンを連携するうえで下記 3 つの要件を満たすことを研究課題とする．
要件 1

デジタルサイネージに近づく必要がない

要件 2

デジタルサイネージとユーザの間に人や物が存在してよい
要件 3

識別情報を照合するために視線を行き来させる必要がない

4. 提案手法
3 章の研究課題を満たす手法として，アイコンの動きを真似るデジタルサイネージ選択方式を提案する [1]．これは，図 1 のようにデジタルサイネージ上に一定の動きをするアイコンを表示し，ユーザがスマートフォンを持って，デジタルサイネージ上に表示されたアイコンの動きを真似することで，対応したコンテンツを選択できる方式である．

444

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1P-73
2023/3/1

図 3
図 1

システム構成図

提案方式

5.1 全体構成全体のシステム構成図を図 3 に示す．システムは，サーバ，デジタルサイネージクライアント，スマートフォンクライアントからなるクライアントサーバモデルで実装する．サーバは，各デジタルサイネージの URL を格納する URL DB，デジタルサイネージに表示するアイコンの動作を制御する Icon controller，スマートフォンから受信した加速度データがどのコンテンツの動きかを判定する

Gesture matcher からなる．Gesuture matcher は，コンテ
図 2

アイコンの動作パターンンツを判定すると，判定したコンテンツと対応する URLをスマートフォンに送信する．デジタルサイネージクライ

デジタルサイネージ上に表示するアイコンの動きは，図 2

アントは，サーバから指定された動作を行う Icon，画像とのようなシンプルなものである．ユーザは，デジタルサイテキストからなる Content からなり，サーバと HTTP 通

ネージ上に表示されたアイコンの動きが視認できればよい

信を行い，サーバの Icon controller から指定された動作時ため，デジタルサイネージに近づく必要がなくなる．人や間帯に指定された動作をするアイコンを画面上に表示させ物が完全に視界を遮っておらず，アイコンの動きを視認でる．スマートフォンクライアントは，サーバにジェスチャきれば，デジタルサイネージとユーザの間に人や物が存在を送信する Gesture sender，サーバから受信したコンテンしてもよくなるため，要件 1・2 を満たしている．また，視ツを画面上に表示する Content viewer からなり，サーバと線をデジタルサイネージに向けたまま識別情報であるアイHTTP 通信を行い，任意の加速度データをサーバに送信す

コンの動きを真似ることができるため，視線を行き来させると，サーバの Gesture matcher によって判定されたコンる必要がなく，要件 3 を満たしている．

テンツの URL を表示する．

5. 実装

5.2 デジタルサイネージクライアント

先行研究では，アイコンの動作パターンの数によって識

デジタルサイネージクライアントでは，デジタルサイ別できるデジタルサイネージの数が制限されてしまうたネージの画面にコンテンツとそれに対応したアイコンを表め，アイコンの動作時間帯をずらすことで同一の動作パ示する．アイコンは動作時間帯にのみ表示されており，アターンであっても異なるデジタルサイネージの識別情報とイコン動作時間帯以外は，アイコンの軌跡のみが表示されして機能していた．しかし，アイコンの動作時間帯とユーる．軌跡を常に表示している理由としては，ユーザがアイザがジェスチャを行う時間帯がずれてしまうことでジェコンの動きを記憶しなくて済むようにするためである．表スチャマッチングが失敗するという問題があった．本稿で示するコンテンツは URL パラメータでサイネージコンテ

は，アイコンの動作時間帯の間に，どのアイコンも表示しンツを指定することで，任意のコンテンツを表示することないマージンを設ける．マージンの時間帯にジェスチャをができる．デジタルサイネージは JavaScript で Web アプ

受け取った場合には，ジェスチャを受け取る直前に動作しリケーションとして実装しているため，Web ブラウザがあていたアイコンに対応するコンテンツに対する接続要求とれば，各 OS をデジタルサイネージとして使用することがして，マッチングを行うようにする．

できる．

© 2023 Information Processing Society of Japan445

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

5.3 スマートフォンクライアント
スマートフォンクライアントでは，加速度の計測・コンテンツの表示を行う．スマートフォンの画面に表示したボ

1P-73
2023/3/1

チャマッチングが失敗する問題があった．本稿では，この問題を解決するために，アイコンの動作時間帯の間にアイコンが表示されないマージンを導入した．

タンが押されている間に，任意のジェスチャが行われると，今後は，マージンを導入したことによるマッチング成功

その時の加速度センサ値を計測し，計測した加速度センサ率および本システムのユーザビリティを検証する実験を行値をサーバへ送信する．ユーザが送信した加速度データとう予定である．

アイコンの動きのマッチング結果として返ってきたコンテ
ンツの内容をスマートフォンの画面に表示する．コンテン

参考文献

ツ表示後に，ユーザがすぐに次のジェスチャを行えるよう[1]に，加速度を計測するトリガーとなるボタンは表示したままにする．スマートフォンクライアントは，JavaScript で[2]Web アプリケーションとして実装をしているため，専用アプリケーションをインストールせずに利用できる．

[3]
[4]

5.4 サーバ
サーバでは，スマートフォンクライアントからジェスチャを行った時の加速度データを受け取り，アイコンの動[5]

きとユーザのジェスチャの類似度を算出する．類似度の算
出には，Dynamic Time Warping(DTW) を採用した．ア[6]

イコンの動作時間とユーザのジェスチャの実行時間が異なる場合であっても，動作としては同一であるジェスチャを行っていた際には，同じジェスチャとみなすためである．

[7]算出した DTW 距離が最小となるアイコンの動きと対応するコンテンツをマッチング結果としてスマートフォンクライアントへ送信する．なお，計算量削減のため，スマー[8]

トフォンクライアントから受け取った加速度データには，スケーリング，次元削減などを施している．
先行研究では，アイコンが表示されている時間帯にのみ，[9]対応したコンテンツのジェスチャを受け付けていた．アイコンの動作時間帯とユーザがジェスチャを行った時間帯がずれてるとジェスチャマッチングが失敗する問題を解決するために，各アイコンの動作時間帯の間にどのアイコンも表示しない 1 秒間のマージンを設ける．マージンの時間帯に受け付けたジェスチャは，マージンの直前に表示されて[10]

宮田章裕：真似て選択するデジタルサイネージ，マルチメディア，分散協調とモバイルシンポジウム 2016 論文集，Vol.2016，pp.1350–1356 (2016).
デジタルサイネージコンソーシアム: デジタルサイネージ
白書 2013(2013).
Clinch, S.: Smartphones and Pervasive Public Display,Pervasive Computing,Vol.12,No.1,pp.92–95(2013).
Hardy, R., Rukzio, E., Wagner, M., and Paolucci, M.:
Exploring Expressive NFC-Based Mobile Phone Interaction with Large Dynamic Displays, Proc. NFC’09, pp.36–
41 (2009).
佐藤光起，松下光範: Bring Your Own Pointer: 複数の携
帯端末による ad hoc なマルチポインティング手法，情報処理学会論文誌，Vol.62 No.2 680–688 (2021).
Boring，S.，Altendorfer，M.，Broll，G.，Hilliges，O.，
and Butz，A.: Shoot & Copy: Phonecam-Based Information Transfer from Public Displays onto Mobile Phones，Proc.Mobility’07，pp.24–31 (2007)．
Shirazi, A. S., Winkler, C., and Albrecht, S.: Flashlight Interaction: A Study on Mobile Phone Interaction Techniques with Large Displays, Proc. MobileHCI’09,pp.93:1–93:2 (2009).
福島寛之, 山口徳郎, 立澤茂, 野中雅人: 公共ディスプレイと個人スマートフォンを連携させたインタラクティブサ
イネージの提案, 電子情報通信学会技術研究報告 (MVE),
Vol.113, No.109, pp.33–38 (2013).
Davies, N., Friday, A., Newman, P., Rutlidge, S., andStorz, O.: Using Bluetooth Device Names to Support
Interaction in Smart Environments, Proc. MobiSys’09,pp.151–164 (2009).
宮田章裕, 瀬古俊一, 青木良輔, 橋本遼, 石田達郎, 伊勢崎隆司, 渡辺昌洋, 井原雅行: デジタルサイネージとモバイル端末を連携させた複数人同時閲覧のための情報提示システム, 情報処理学会論文誌, Vol.56, No.1, pp.106–117(2015).

いたアイコンのコンテンツに対する接続要求として，マッチングする．マージンを設けることで，アイコンが動作している時間帯とユーザがジェスチャを行う時間帯がずれることにより，マッチング精度が低下する問題の解決を目指す．

6. おわりに本研究ではスマートフォンとデジタルサイネージを連携させる手法として，アイコンの動きを真似るデジタルサイネージ選択手法を提案した．これは，ユーザがスマートフォンを持ちデジタルサイネージに表示されたアイコンの動きを真似ることで，対応するデジタルサイネージを選択する手法である．先行研究では，アイコンの動作時間帯とユーザがジェスチャを行う時間帯がずれることで，ジェス© 2023 Information Processing Society of Japan446