情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-21
2019/3/6

OpenPose を用いた複数人同時操作可能なデジタルサイネージ
榊原 ゆり子†1松田 嘉男†2 小室 孝†2 小川 賀代†1

概要：本稿は，複数人の骨格を検出可能な OpenPose を用いることで，複数人が同時にジェスチャ操作可能なデジタルサイネージを実現する手法を提案する．また，提案するデジタルサイネージが，複数人で同時利用可能かどうか，協調動作が見られるかどうかについて，児童に利用してもらうことで，検証を行った．検証の結果，4 人の児童が同時に利用した場合でも，全員がゲームに参加でき，また人数が増えていくにつれて 1 回のゲームでの平均得点が高くなったことから，複数人数での同時利用，協調動作を確認できた．

1. はじめに
近年，デジタルサイネージは新たな情報・広告媒体とし

2. システム構成
2.1 実装て商業や公共のあらゆる場所に設置されている．デジタルシステムの外観を図 1 に示す．ディスプレイは 42.51 イ

サイネージのうち，コンテンツとインタラクションを行うンチの液晶ディスプレイを使用した．また，ディスプレイことを可能にするインタラクティブデジタルサイネージは，上部に 41fps で 1920×1200 画素の画像を取得可能な RGB

ユーザが自発的に情報を取得でき，人々を惹き付けることカメラを取り付けた．に有効である[1]．特に大画面のインタラクティブデジタル

2.2 骨格検出

サイネージは，多くの情報を提供でき，複数人が同時に利人の骨格検出に，Cao らによって提案された多人数姿勢用できるため，その利用の様子に興味を持ち，引き寄せら推定手法[6]が実装されたライブラリである OpenPose を用れるユーザが増える honey-pot effect が期待できる[2]．

いた．OpenPose は，画像から人の関節を Deep Learning を複数人が同時に利用可能なインタラクティブデジタルサ用いて検出し，そのつながりの関係性から複数人の姿勢をイネージは，説明が無くても，ユーザが利用できる必要がリアルタイムで推定する．本稿では，OpenPose から得られある．そのため，デジタルサイネージの操作手法は，多くる骨格情報を用いることで，複数人の同時ジェスチャ操作の人が直感的かつ即座に利用できるものが好ましい．現在を可能にした．

主流の操作手法として，タッチ操作のものがあるが，タッ2.3 コンテンツ

チ操作は近距離で行う為，物理的に人数が制限されてしま

デジタルサイネージのコンテンツは，広告にゲーム性をう．それに対し，Masuko らはスマートフォンなどのデバイ取り入れることで，人々の興味を引き，honey-pot effect がスによる遠隔操作の WallSHOP を提案した[3]．しかし，デ期待できる．具体的な例として，ゲームのキャラクターをバイスによる操作は準備を必要とするため，即座に利用で広告塔にする，ゲーム画面に商品を表示する，ゲーム終了きない．さらに，Müller らはユーザの鏡像を輪郭としたシ後にクーポンを表示するなどといった方法が挙げられる．

ルエットを用いたジェスチャによる遠隔操作の Looking

よって本稿では，これらの広告に適用しやすい「モグラ叩Glass を提案した[4]．ジェスチャ操作は，直感的かつ即座きゲーム」を，openFrameworks を用いて作成した．「モグに利用可能であるため，インタラクティブデジタルサイネラ叩きゲーム」は，モグラをハンマーで叩き，得点を競うージに適している．しかし，シルエットよりも，人の骨格ゲームである．ディスプレイには，図 2 に示すよう，穴かを用いたジェスチャ操作の方が，ユーザの動作が積極的にら出入りするモグラの絵の上に人の骨格が映り，骨格の右なり，画面の前での滞在時間が長くなるということが明ら

手首位置にハンマーが表示され，ハンマーをモグラに当てかになっている[5]．

ることで得点が加算される．

そこで本稿では，人の骨格検出に OpenPose を使用することで，複数のユーザが同時に，骨格を用いてジェスチャ操作可能なデジタルサイネージを提案する．また，提案するデジタルサイネージが，複数人で同時利用可能かどうか，協調動作が見られるかどうかについて，社会的恥ずかしさが少なく、興味・関心で行動する児童に利用してもらうことで検証を行う．

†1 日本女子大学 理学部 数物科学科†2 埼玉大学大学院 理工学研究科

図 1 システムの外観© 2019 Information Processing Society of Japan260

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-21
2019/3/6

表1

評価実験の結果

1人
人数4回
実験回数
ゲーム平均回数 4.5回
3.2点
得点平均

2人
3人
4人
4回
3回
3回
3.5回 3.7回
3回
16.1点 17.5点 25.6点

見られた．また，人数が増えていく毎に，実験参加者の立ち位置は，横一列から，図 3 に示すように前後左右に広がった状態になったが，骨格検出は行え，全員がゲームに参図 2 モグラ叩きゲーム加できた．
また，表 1 に示すように，人数が増えていくにつれて，ゲームの平均回数が減る傾向がみられ，1 回のゲームでの平均得点が高くなった．これは，協調動作によって，叩けないモグラがいてゲームオーバーになる回数が減り，1 回のゲームの時間が長くなったことで高得点につながったと考えられる．よって，本実験結果より，提案システムが協調動作を促す効果があることも確認できた．

4. まとめ
本稿では，複数人の骨格を検出可能な OpenPose を用いることで，複数人が同時にジェスチャ操作可能なデジタル
図 3 行動観察実験
また，協調動作を促すシステムとするために，実験参加者が両手を広げても，同一位置ではすべてのモグラには届かないように設定し，複数人で協力すると，短時間で高得点が得られるようにした．さらに，協調動作を促すために，叩かれないモグラは一定時間が経過すると怒ったモグラにサイネージを提案した．また，提案するデジタルサイネー
ジが，複数人で同時利用可能かどうか，協調動作が見られるかどうかについて，児童に利用してもらうことで検証を行い，複数人数での同時利用，協調動作を確認できた．

参考文献
[1]

変化し，怒ったモグラを叩かないと，モグラが爆発し，ゲームオーバーになるようにした．ただし，ゲームオーバー[2]の後は，自動的にゲームは再スタートし，時間内は何回でもゲームができるようにした．

[3]

3. 行動観察実験
3.1 実験方法[4]

提案したデジタルサイネージの評価を行うため，4 名の児童（8〜9）歳（男児 3 人、女児 1 人）による行動観察実[5]験を行った．また実験は，複数人数での利用が可能かどうか，協調動作が見られるかどうかを確認するために，1 人から 4 人までの組み合わせ人数を変えながら，それぞれ数回実験を行った．各人数での実験回数を表 1 に示す．なお，[6]

M. Veenstra et al., Should Public Displays Be Interactive?
Evaluating the Impact of Interactivity on Audience Engagement.
In Proc. PerDis ’15. ACM, 2015, p.15– 21.
H. Brignull et al., Enticing People to Interact with Large Public
Displays in Public Spaces. In Proc. INTERACT ’03. IOS Press,
2003, p.17–24.
S. Masuko et al., WallSHOP: Multiuser Interaction with Public
Digital Signage Using Mobile Devices for Personalized Shopping.
In Proc. IUI ’15. ACM, 2015, p. 37–40.
J. Müller et al., Looking glass: a field study on noticing
interactivity of a shop window. In Proc. CHI’12. ACM, 2012,
p. 297-306.
A. Christopher et al., Skeletons and silhouettes: Comparing user
representations at a gesture-based large display. In: Proc. CHI’16.
ACM, 2016, p. 2343-2347.
Z. Cao et al., Realtime Multi-person 2D Pose Estimation Using
Part Affinity Fields. In Proc. CVPR ’17. IEEE Computer Society,2017, p.1302–1310.

1 回の実験は 1 分間とした．
3.2 実験結果
複数人数での利用については，4 人が同時に利用した場合でも，ディスプレイ上には全員の骨格が表示され，ハンマーでモグラを叩く動作が行えることが確認できた．また，開始から 10 秒程度で全員がゲームであることに気付き，さらに，全員が時間いっぱいまでゲームで遊んでいる様子が© 2019 Information Processing Society of Japan

261