情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-61
2023/3/1

ユーザの位置計測に基づいた自然なインタラクション遷移を実現する
デジタルサイネージシステム
菅井 ゆり佳1

杉村 大輔1

概要：公共の場に大型ディスプレイやプロジェクターなどの映像表示装置を設置し，広告やニュース，株価などの情報を発信するデジタルサイネージが普及してきた．しかしながら，ディスプレイ上で画像を切り替えたり動画を流し続けたりするなど，一方的な情報の提示が主となっている．また，大規模なデジタ
ルサイネージと比べると，小規模なデジタルサイネージは費用対効果が小さい．このような問題に対処するため，ユーザの位置計測に基づいた自然なインタラクション遷移を実現するデジタルサイネージシステ
ムを提案する．提案システムの特徴は２つある．１つ目は，スクリーンとユーザとの距離に応じて情報提示方法を 4 つのフェーズに分けることにより，ユーザとシステムの暗黙的なインタラクションから明示的なインタラクションへの遷移を実現することである．ユーザとシステムのインタラクションを可能にすることで，一方的な情報提示という従来システムの問題を解決する．２つ目は，特別な装置を必要とせず，iPhone，iPad とプロジェクターを用いるだけでシステムを構成することができることである．これにより，システム全体のコストを抑えることが可能になる．本システムのプロタイプを試作し，有効性を確認した．

は画面に接触する必要がある. さらに，大きなディスプレ

1. はじめにイを用いる場合は，手が届かない欠点がある．これを解決

駅や店舗，施設，オフィスなどの公共の場に大型ディスするために，マーカや装置を用いてユーザの体や手の位置プレイやプロジェクターなどの映像表示装置を設置して，を測定し，ディスプレイの表示を変化させる手法 [1][2] が広告やニュース，株価などの情報を発信するデジタルサイあるが，ユーザが特別な装置を装着する必要がある．

ネージが普及してきた．デジタルサイネージは，紙媒体で2 つ目の問題は，小規模な広告になればなるほどユーザの看板広告や同じ静止画を切り替えるだけのロール・スクの関心を集めることが難しくなっている点である．2021 年

リーン看板とは異なり，デジタル情報を表示する電子看板の広告市場では，プロモーションメディア広告費のうち，である．そのため，広告などの情報の差し替えや変更が容「屋外」に分類される大型で目立つデジタルサイネージな易になる．また，動画や 3D コンテンツなどを表示するこどは増加した一方で，「POP」や「イベント・展示・映像とが可能であるため，ユーザの関心を惹きやすい．そして，ほか」は減少した [3]．以上より，デジタル広告や屋外での不特定多数に同じ広告を流すのではなく，通信ネットワー

大規模なデジタルサイネージと比べると，小規模なデジタ

クを用いて，設置場所の地域性やターゲット層を考慮した

ルサイネージは費用対効果が小さい．このことから，小規広告表示ができる．このような利点を踏まえ，デジタルサ模なデジタルサイネージの費用対効果を高めるために，コイネージでの広告は年々増加している．

ストを抑えたシステムが望まれる．

一方で，問題点は 2 つ挙げられる．1 つ目は，ディスプレ

上記の問題点を解決するために，本研究ではユーザの位イ上で画像を切り替えたり動画を流し続けたりするなど，置計測に基づいた自然なインタラクション遷移を実現する一方的な情報の提示が主となっている点である．このようデジタルサイネージシステムを提案する．本手法では，スな一方的な情報の提示では，紙媒体での広告と大差なく，クリーンとユーザとの距離に応じて情報提示方法を 4 つの広告に関心のないユーザの注目を得にくい．また，これをフェーズに分けることにより，ユーザとシステムの暗黙的解決するための方法の一つとしてディスプレイとユーザとなインタラクションから明示的なインタラクションへの遷のインタラクションを促すタッチパネルがあるが，ユーザ移を自然に行う．ユーザの頭部の位置やハンドポーズを用

1

津田塾大学

学芸学部

情報科学科

© 2023 Information Processing Society of Japan

いた 3D コンテンツの操作により，前述した 1 つ目の問題

730

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-61
2023/3/1

である一方的な情報の提示を解決し，ユーザとシステムの自然なインタラクションを可能にする．これにより，情報表示に触れた際に，その場にいるからこそ得られる情報や体験をユーザに提供できるため，更なるユーザの関心を得ることが可能になると考える．また，特別なセンサやカメラではなく，大多数の人が保有している iPhone や iPad などの端末とプロジェクターを用いたシステムを構成する．
広告を掲出する側が，3D コンテンツと画像さえあれば表示内容を容易に設定することを可能するために，iPhone やiPad などの端末で動く iOS アプリケーションを開発した．
加えて，関連研究で使用されているステレオカメラ [4] や深度センサ [5]，測域センサ [6] を用いることなく，iPhone

図 1: システム概要図や iPad に搭載されているカメラを用いているため，システム全体のコストを抑えることが可能になる．

2. 提案システム
2.1 提案システムの概要

離に応じて画面に表示される情報が変化する．具体的には，ユーザがスクリーンに近づくほど表示される文字やイラスト情報が増えていく．また，ユーザの位置やハンドポーズより，表示される 3D コンテンツの回転やアニメーション

本研究では，スクリーンとユーザの距離に応じて 3D コンを制御する．このように，スクリーンとユーザの距離に応テンツ表示を変化させるシステムを提案する．また，ハンじて，ユーザは表示されているコンテンツに即した情報をドジェスチャを用いた 3D コンテンツの操作や，bluetooth効果的に閲覧・操作することができる．

やメールを用いたユーザとの情報共有を行う．本システム
は, 以下のような 3 つの性質を持つ．

2.2 システム構成
図 1 に示すように，提案システムは，プロジェクタ 1 台，暗黙的なインタラクションから明示的なインタラクショ

スクリーン 1 基，iPad Pro（12.9 インチ 第 5 世代）1 台かンへの誘導ら構成されている．iPad では，情報をスクリーンに投影

ユーザがスクリーンに表示された情報を見る時，ユーザはする前に 3D コンテンツの設定，文字やイラストの編集な徐々にスクリーンに近づくと考えられる．この際，本シスどを設定することができる．また，コンテンツ表示の際にテムでは，スクリーンとの距離に応じて，画面に表示されは，ユーザの顔認識による距離推定を行う．測定した距離た 3D コンテンツが変化する．この変化によって，ユーザに応じて，表示する情報を変化させることができる．また，は自分の立ち位置に応じてスクリーンの表示が変化するこ

ユーザは指定されたハンドポーズを行うことで，3D コンテとを認識する．すなわち，ユーザは画面に表示された 3Dンツの操作・閲覧をすることができる．加えて，bluetoothコンテンツとユーザ自身の行動が関連づいていることに気やメールを用いてユーザとの情報共有を行う．このようづくことができる．その後，画面上に表示された情報につに，iPad で処理された情報は，プロジェクターを通してスいて興味を持ったユーザは，スクリーンに近い場所まで移クリーンに投影される．

動すると考えられる．その際，ハンドポーズ認識により，ユーザは自分の意志で 3D コンテンツを操作することができる．

3. ユーザの行動誘導のためのフレームワーク
従来研究の一つである Vogel らにより提案された Inter-

active Public Ambient Displays[7] は，ディスプレイとユー特別な端末が不要

ザとの距離に応じてインタラクションを切り替える手法で

3D コンテンツの操作は，ユーザのハンドポーズによってある．この手法を用いることで，暗黙的なインタラクショ行われる．コンテンツに関する情報共有は，bluetooth やンから明示的なインタラクションへの状態遷移を自然に行メールなどのツールを用いる．そのため，ユーザはスマーえるようになった. しかしながら，ディスプレイとユーザ

トフォン 1 つを所持していれば良い．このように，ユーザとの距離を測定するために，ユーザが赤外線マーカを装着

は 3D コンテンツを操作するための特別な端末を必要とししなければならない．また，ユーザのディスプレイに対すない．

る奥行き方向の動きと体の向きで表示内容を変更している．
これに対し本研究では，カメラ映像からの顔検出によりスクリーンとユーザの距離に応じた情報表示
上述したように，本システムではスクリーンとユーザの距© 2023 Information Processing Society of Japan得られた顔の大きさを用いて，ディスプレイとユーザとの距離を測定し，情報提示方法を切り替える．そして，ユー731

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 2: Ambient Display フェーズでの情報表示の例

2P-61
2023/3/1

図 5: Subtle Interaction フェーズにおける操作方法の提示の例．スクリーン左側に指定ハンドポーズを表示する．

3.1 Ambient InteractionAmbient Display のフェーズでは，ユーザーが一目見ただけで，全体の情報を把握できるような表示を行う．スクリーン上の表示は 3D コンテンツ，文字やイラストで構成されている．図 2 にその例を示す．

3.2 Implicit Interaction
Implicit Interaction のフェーズでは，ユーザがスクリー
図 3: Implicit Interaction: ユーザの動きに伴う表示の 3D コン
テンツの回転ンの前を通り過ぎた時に，ユーザの頭部の位置に応じて 3Dコンテンツの見える角度が変化を変化させることで，ユー
ザとの暗黙的なインタラクションを行う．また，ユーザがスクリーンに近づくにつれて，コンテンツに関する詳細な説明を行うために提示する画像の不透明度を上げる．ユー
ザがスクリーンに対して横方向に動く際は，3D モデルがユーザの動きに即して回転する（図 3）．また，ユーザがスクリーンに対して奥行き方向に動く際は，コンテンツに関する詳細な情報が，ユーザがスクリーンに近づくにつれて表示される（図 4）．これにより，ユーザーをスクリーンの近くに引き寄せ，次のインタラクションフェーズに誘導す

図 4: Implicit Interaction: ユーザの奥行き位置に伴う表示の不ることができる．

透明度の変化3.3 Subtle Interaction
Subtle Interaction のフェーズでは，ユーザはスクリー
ザのディスプレイに対する奥行き方向の動きだけでなく，ンに表示されている 3D コンテンツの操作やコンテンツにディスプレイに対する横方向の動きで表示内容を操作する

関する詳細な説明を閲覧するなど，システムと明示的なイことができる．

ンタラクションを行う．このフェーズの前までは，ユーザは 3D コンテンツを暗黙的に操作していたが，このフェー

3D コンテンツを用いた情報表示に関して，ユーザの関心を集めるためのフレームワークを構築する．本研究で提案

ズでは，ユーザはハンドポーズを用いて 3D コンテンツを明示的に操作することができる．

するフレームワークは 4 つのフェーズに分かれている．4

操作方法の提示は，フェーズが移行した時，ユーザが違つのフェーズとは，図 1 に示すように，Ambient Display，うハンドポーズを行なっている時，フェーズの範囲内にいImplicit Interaction，Subtle Interaction，Personal Inter-るがハンドポーズをしていない時に行う．また，フェーズaction である．以下，それぞれのフェーズについて説明が移行したことをユーザに提示するために，詳細な説明をする．

不透明度を変化させることなく表示する．その様子を図 5© 2023 Information Processing Society of Japan732

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-61
2023/3/1

図 7: Subtle Interaction:TIP 追跡による 3D のモデルの左回転操作（左）と 3D のモデルの右回転操作（右）図 6: 手の骨格検出に示す．

3.3.1 CoreML を用いたハンドポーズの認識
CoreML[8] とは，Apple のデバイス，iPhone や Mac 上のアプリケーションで動く機械学習ライブラリである．デ

図 8: Subtle Interaction: ハンドポーズ識別によるグッドの時バイス上で機械学習を実行でき，作成したモデルを利用すの 3D コンテンツのアニメーション（左）とピースの時ることができる．本研究では，この CoreML を作成するにの 3D コンテンツのアニメーション（右）あたり，CreateML を用いる．CreateML[9] とは，サンプルデータからパターンを認識し，モデルの訓練を行うシスにその様子を示す．

テムである．モデルが十分な精度になれば，CoreML としてアプリケーションに組み込むことができる．
本研究では，3D コンテンツの回転と 3D コンテンツのア

3.3.3 ハンドポーズによる 3D コンテンツアニメーショ
ン変更

ニメーションの切り替えをハンドポーズで操作する．3D

アニメーションを含む 3D コンテンツがある場合，ユーコンテンツの回転を操作するために，画像からパー及びそザのハンドポーズに伴い表示するアニメーションを切り替

れ以外の手の形を識別する．識別するために用いたトレーえることができる．ユーザのポーズや表示画像に即したア

ニングデータ用の画像はそれぞれ 235 枚，バリデーションニメーションを表示することで，3D コンテンツの特徴をデータ用の画像はそれぞれ 30 枚，テストデータ用の画像提示することが可能となる．図 8 にその様子を示す．

はそれぞれ 30 枚とした．学習の結果，識別率が 98 ％となった．

3.4 Personal Interaction

また，3D コンテンツのアニメーションを切り替えるた

Personal Interaction のフェーズでは，ユーザは bluetooth

めに，画像から，グッドとピースとそれ以外の手の形を識やメールなどを用いてコンテンツに沿った情報を得ること別する．識別するために用いたトレーニングデータ用の画ができる．ユーザが実際に iPad を操作して，ユーザのス像はそれぞれ 250 枚，バリデーションデータ用の画像はそマートフォンに欲しい情報を送信することができる．

れぞれ 30 枚，テストデータ用の画像はそれぞれ 30 枚とした．学習の結果，識別率が 96 ％となった．この学習させたモデルを用いて，ハンドポーズの識別を行う．

3.5 フェーズの遷移
各インタラクションフェーズは，ユーザとカメラの距離によって切り替える．カメラとユーザの距離は，iPad の3.3.2 ハンドポーズによる 3D コンテンツ操作

カメラ映像からの顔検出により得られる顔領域の大きさ

3D コンテンツをユーザの意図した方向に回転させる処によって算出している．顔領域の面積が大きければユーザ理を行う．まず，apple が提供する API[10] を用いてハンとカメラの距離は近く，顔領域の面積が小さければユーザドトラッキングを行う．これにより，片手ずつ 21 つの骨とカメラの距離は遠いと考える．つまり，顔領域の面積に格を検出できる．ユーザの手がパーと識別した時，図 6 によってシステムはフェーズを遷移させ，スクリーンに投影おける Tip of ﬁnger(TIP) を追跡する．

される情報表示を変化させる．

本研究では，画面上のカーソルの位置によって 3D コンテンツの回転を制御している．カーソルは，ユーザがパー3.6 プロトタイプのハンドポーズを行なっている時にのみ，手の骨格 TIP に提案したフレームワークを利用して，２つのプロトタ伴って動く．3D コンテンツを回転させたい向きにカーソイプを開発した．ハンドポーズによる 3D モデルの回転制ルを移動させると，カーソルの方向に回転し始める．図 7御（アニメーションなし）のプロトタイプ（図 9(1)）と，© 2023 Information Processing Society of Japan733

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-61
2023/3/1（１）ハンドポーズによる 3D モデルの回転制御（アニメーションなし）（２）ハンドポーズによる 3D モデルのアニメーションの切り替え（アニメーションあり）

図 9: 実験の様子

ハンドポーズによる 3D モデルのアニメーションの切り替え（アニメーションあり）のプロトタイプ（図 9(2)）である．プロトタイプの 3D モデルは，3DCG ソフト Blenderを用いて作成したポケモンを用いる．Ambient Display では，ポケモンの名前が表示がされる．Implicit Interaction
では，ユーザがスクリーンに対して横方向に動く際は，3Dモデルがユーザの動きに即して回転する．また，ユーザがカメラに対して奥行き方向に動く際は，コンテンツに関する詳細な情報が，ユーザがスクリーンに近づくにつれて表示される．Subtle Interaction は，ハンドポーズによる 3Dモデルの回転制御（アニメーションなし）のプロトタイプ
では，ユーザが手をカメラに写さない場合や違う手の形を出している場合，ユーザがパーの手を出すよう誘導する表示を出す．ハンドポーズによる 3D モデルのアニメーショ
ンの切り替え（アニメーションあり）のプロトタイプでは，詳細な説明を表示する際に，ユーザがグッドとピースの手を出すよう誘導する表示を出す．Personal Interaction では，ポケモンずかん [11] が，bluetooth またはメールでユーザのスマートフォンに送信される．

4. 実験
ハンドポーズによる 3D モデルの回転制御（アニメーションなし）のプロトタイプ（図 9(1)）と，ハンドポーズによる 3D モデルのアニメーションの切り替え（アニメーションあり）のプロトタイプ（図 9(2)）について，評価実験を行った．被験者の数は 18 人である．本実験では，被験者が，4 つのフェーズのうち，どのフェーズまで進むのかを観察した．また，2 つのプロトタイプに対して，それぞれ「どのくらい操作しやすかったか」，「どのくらいコンテンツに興味が湧いたか」について，5 段階に分けてアンケートをとった（大きい値の方が高評価）．これに加え，自由記述で感想を求めた．

4 つのフェーズのうちどのフェーズまで進むかを調べた結果を以下に説明する．Personal Interaction のフェーズまで進んだ被験者は 3 人，Subtle Interaction のフェーズまで進んだ被験者は 9 人，Implicit Interaction のフェーズまで進んだ被験者は 1 人，Ambient Display のフェーズのままであった被験者は 3 人となった．被験者のうち半分の 9 人は Subtle Interaction のフェーズまで，PersonalInteraction のフェーズには 3 人移動した．広告に興味の薄© 2023 Information Processing Society of Japan734

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-61
2023/3/1

方法を 4 つのフェーズに分けることにより，ユーザとシステムの暗黙的なインタラクションから明示的なインタラクションへの自然な誘導を可能にした．ユーザとのインタラクションを可能にすることで，従来システムの問題であった一方的な情報の提示を解決した．また，iPhone や iPad
図 10: 「どのくらい操作しやすかったか」に対する評価（アニメーションなしのプロトタイプ（左）とアニメーションありのプロトタイプ（右））に搭載されているカメラを用いているため，システム全体のコストを抑えることが可能になる．
実験の結果から，提案システムは広告コンテンツ表示に対してユーザに興味を持たせる効果があると考える．
今後は，作成したプロトタイプがどのくらい人の興味を惹きつけられているのかについて，多数の歩行者がいる場所で検証していきたい．そして，カメラの撮影範囲を広くすることで，ユーザの手の認識範囲を広げ，システムの操作性を高めていくことについても検討していくつもりで

図 11: 「どのくらいコンテンツに興味が湧いたか」に対するある．

評価（アニメーションなしのプロトタイプ（左）とアニメーションありのプロトタイプ（右））

参考文献
[1]

いユーザは．Ambient Display の状態にとどまると考えられるが，この結果にあるように，被験者の多くがスクリーンに近づいた．すなわち，提案システムによる広告コンテンツ表示に興味を持ったとみなすことができる．

[2]「どのくらい操作しやすかったか」に関する評価値の分布を図 10，「どのくらいコンテンツに興味が湧いたか」に関するものを図 11 に示す．ハンドポーズによる 3D モデ
ルの回転制御（アニメーションなし）（図 10（左））にお[3]いて，プロトタイプが操作しにくいと回答した被験者が多かった．自由記述において，カメラと手の距離感が掴みに[4]くかったという意見が多かった．実際，右下にカメラ画像が配置されていても，ユーザの手がカメラが撮影できる範囲外に出てしまうことが多かった．しかし，終始，手がカ[5]

メラが撮影できる範囲内にあるユーザは，手をどのように動かせば 3D コンテンツが回転するのか，説明しなくとも操作できていた．また，ハンドポーズによる 3D モデルの[6]回転制御（アニメーションなし）よりも，ハンドポーズによる 3D モデルのアニメーションの切り替え（アニメーショ[7]ンあり）のプロトタイプ（図 11（右））を体験してコンテンツに興味が湧いた被験者が多かった（評価値が高い傾向にあった）．自由記述の感想において，ポケモンの表情や動きを見ていて楽しかったという意見が多くあった．このことから，ユーザとシステムのインタラクション機能は，

[8]
[9]

ユーザに表示情報（コンテンツ）への興味を持たせることができると考える．

5. おわりに本研究では，ユーザの位置計測に基づいた自然なインタ

[10]

[11]

Maria Karam, Terry R. Payne, and Esther David. Evaluating bluscreen: Usability for intelligent pervasive displays. In The Second IEEE International Conference on
Pervasive Computing and Applications(ICPCA 07), pp.
18–23, 2007.
Kento Miyaoku, Suguru Higashino, and Yoshinobu
Tonomura. C-blink: a hue-diﬀerence-based light signal
marker for large screen interaction via any mobile terminal. Proceedings of the 17th annual ACM symposium
on User interface software and technology, pp. 147–156,
2004.
電通 2021 年日本の広告費. https://www.dentsu.co.jp/news/release/2022/0224-010496.html
Yasuto Nakanishi, Yoichi Sato, and Hideki Koike. Enhanceddesk and enhancedwall: Augmented desk and wallinterfaces with real-time tracking of user s motion. In
Workshop on Collaboration with Interactive Walls andTables, UbiComp 2002, pp. 27–30, 2002.
深澤哲生, 福地健太郎, 小池英樹. 壁型ディスプレイを用いた非接触対話型電子広告システム. 第 14 回インタラク
ティブシステムとソフトウェアに関するワークショップ(WISS 2006) 論文集, pp. 65–70, 2006.
佐藤竜也, 村田雄一, 志築文太郎, 田中二郎. 立つだけイン
タラクション-自然に使い方がわかる公共大画面向けイン
タラクション . In WISS2008, 2008.
D. Vogel and R. Balakrishnan. Interactive public ambient
displays: transitioning from implicit to explicit, public topersonal, interaction with multiple users. In Proceedingsof the 17th annual ACM symposium on User interface
software and technology(UIST2004), pp. 137–146, 2004.
Apple developer CoreML. https://developer.apple.
com/jp/machine-learning/core-ml/
Apple developer CreateML. https://developer.
apple.com/jp/documentation/createml/
WWDC20 videos detect body and hand pose withvision. https://developer.apple.com/videos/play/
wwdc2020/10653/
ポケモンずかん ポッチャマ. https://zukan.pokemon.
co.jp/detail/393/

ラクション遷移を実現するデジタルサイネージシステムを提案した．スクリーンとユーザとの距離に応じて情報提示© 2023 Information Processing Society of Japan735