情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-23
2023/3/1

AroMotion:
空中ジェスチャ操作のアロマサイネージシステム

彭雪儿†1

宮下芳明†1

概要：百貨店の香水売り場等ではアロマサイネージシステムが導入され，香りの広告・宣伝に用いられている．本稿
では空中ハンドジェスチャで操作するアロマサイネージシステム AroMotion を構築・提案する．左右に扇ぐ動作で香りを切り替え，手前に扇ぐ動作で香りを射出する．ユーザの手で生み出される気流の効果により，切り替え時の消臭が早まることはもちろんのこと，香りが到達するまでの遅延も有意に短縮されていることを評価実験で確認した．

1. はじめに百貨店の香水売り場ではかつて，ムエット紙を用いたサ

2. 関連研究2.1 香りサイネージ

ンプルで香水を体験し選んでいたが[1]，近年はタッチパネ

映像メディアや商品に合わせて香りを提示する手法はルによって操作し，香りを Aroma Shooter[2]で射出するア

既に提案されている[6]. 商品のビジュアルだけではなく，ロマサイネージが導入されている[3]．新型コロナウイルス

香り自体が広告・宣伝として，新たな役割が付与された．

感染症への対策からアロマサイネージシステムは非接触型

しかし，これまでの研究では，香りは視覚情報の補足としに変わり，空中ハンドジェスチャによるポインティング操て扱われ，嗅覚情報を主体とした研究[7]においても，提示作となったが，操作性は下がっている[4]．

装置により一方的に香りを提示され，社会実装に向けた柔筆者らは，このような背景から嗅覚ディスプレイの性能を高められるハンドジェスチャを考案した[5]．本稿では，軟な対応は難しいと考えられる．

2.2 嗅覚の空間的情報提示

このハンドジェスチャによって操作するアロマサイネージ

Cater によるコンピュータで制御する嗅覚情報の提示装システム AroMotion（図 1）を構築・提案し，その性能評価

置[8]や，廣瀬らによる嗅覚の空間的情報の伝送装置[9]などを行った．AroMotion はカメラモジュール，液晶ディスプが提案されている．廣瀬らは，鼻の位置を位置センサによレイ，嗅覚ディスプレイを備えた構造となっている．操作

りセンシングし，ノズルから鼻に対して直接を匂い付きのはシンプルで，左右に扇ぐ動作で香りを切り替え，手前に空気を噴出させるシステムを提案した[10]．また，ユーザに扇ぐ動作で香りを射出する．ユーザの手で生み出される気向けて空気砲を撃ち出すことで，直接匂いを提示するシス流の効果により，切り替え時の消臭が早まることはもちろ

テムも提案されている[11].

んのこと，香りが到達するまでの遅延も有意に短縮されて2.3 嗅覚提示の効率化いることを評価実験で確認できた．

嗅覚の提示方法に関する研究では，ユーザの顔に風を当てることで，それまでの呼吸パターンを変化させてから提示を行い，香りの知覚率を向上させる嗅覚提示法が提案されている[12]．本研究では，ユーザが自ら行ったハンドジェスチャで香りの放出と切り替えの制御を可能にする．香りが提示されてから認識されるまでの遅延を，ハンドジェスチャに起こされた気流により短縮できる．

3. 提案システム AroMotion
3.1
図 1

アロマサイネージシステム AroMotionハードウェア構成

本章では，提案手法の操作ジェスチャで動作する非接触型アロマサイネージシステム AroMotion を試作した．

†1 明治大学© 2023 Information Processing Society of Japan875

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

AroMotion は赤外線カメラモジュール，液晶ディスプレ

3B-23
2023/3/1

3.2.3 ジェスチャ認識

イ及び嗅覚ディスプレイを備えた構造となっている（図 2）．

本稿におけるジェスチャ認識手法は，中洲らによる優位

操作ジェスチャの認識には Ultraleap 社製のハンドトラ軸認識手法[16]を採用した．ユーザの意図した方向と移動

ッキングモジュール Stereo IR 170[13]を用いた．嗅覚ディス軸が異なる意図しない方向の動きを棄却し，ユーザの意図プレイによる香りの提示は Aromajoin 社の Aroma Shooter

した方向のみ認識されるように実験プログラムを実装した．

を使用した．Aroma Shooter が提示可能の香り種類は，全部

本稿におけるジェスチャの認識では，以下の式をベースとで 6 種類である．Stereo IR 170 と Unity[14]の連携に Ultraleap

した優位軸認識手法に基づく．

社の Ultraleap.UnityPlugin-5.11.0[15]を用いてプロトタイプ用の実験プログラムを実装した．

|𝐏𝑖+1 − 𝐏𝑖 |𝐏𝑖 ,𝐏𝑖+1 ∈𝑆 𝑇𝑖+1 − 𝑇𝑖

(1)

|𝐏𝑖+1 − 𝐏𝑖 |(2)

𝑉 = 𝑚𝑎𝑥

𝐿=∑
𝐏𝑖 ,𝐏𝑖+1 ∈𝑆

優位軸認識での区間 S の速さ V は式（１），移動距離 L は式（２）のとおりである．𝐏𝑖 は手の位置，𝐏𝑖+1 はその直後に取得された手の位置，𝐏𝑖+1 ‐𝐏𝑖 はそれらのベクトルを表す．
𝑇𝑖 と𝑇𝑖+1 は𝐏𝑖 ，𝐏𝑖+1 の取得時間である．𝐏𝑖 ，𝐏𝑖+1 のベクト
ル𝐏𝑖+1 ‐𝐏𝑖 と縦軸，横軸とそれぞれの内積を求め，縦軸との内積の絶対値が大きい場合，𝐏𝑖 ～ 𝐏𝑖+1 の範囲の主軸は縦図 2

ハードウェア構成

軸，それ以外の場合は横軸とする．移動軸（横/縦）及び奥行き方向の距離によってジェスチャを認識し，例えば，縦3.2 操作ジェスチャ

軸方向に手の初期位置から奥行き方向の移動軌跡が検出さ3.2.1 手で払うジェスチャ

れた場合，扇ぐジェスチャとして認識される．

「手で払う動作」を行うことで，気流の変化が発生し，ユーザの前に滞留する空気が横に押しのけられ，反対側から新鮮な空気が入り込む．つまり，ユーザの前に滞留する香り付きの空気はユーザ自身の動作によって，自然な拡散

4. 評価実験
4.1 実験目的を待つよりも速い「消臭」を実現することができる．提案

嗅覚ディスプレイの操作において，ハンドジェスチャを手法では，このジェスチャを提示する香りを切り替えるジ用いる手法は，タッチパネルを用いる従来手法と比べて，ェスチャとして採用した（図 3 左）．

嗅覚提示時の遅延短縮に有効的であるかを調査する．

3.2.2 手前に扇ぐジェスチャ

4.2 被験者

「手前に扇ぐ動作」を行うことで，気流の変化が起こさ被験者は情報系の大学生 11 名(平均 21 歳,標準偏差れ，ユーザの前にある空気が加速して鼻に到達する．嗅覚1.13 歳)であった．被験者全員には，体調や嗅覚について異ディスプレイに出力された香り付きの空気はこの動作によ常がないか確認した上で本実験を行った．

り，出力されてから鼻に到達し認識されるまでの遅延が短

4.3 実験環境

縮できると期待される．提案手法では，このジェスチャを実験環境を表 1 に示す．

香り出力のトリガーとして採用した（図 3 右）．
表 1
赤外線カメラモジュール
嗅覚ディスプレイ

実験環境
Ultraleap Stereo IR 170
Aroma Shooter（噴射距離≦600mm，噴射時間 500ms/回）

評価実験の様子を図 4 に示す．実験装置から被験者までの距離は Aroma Shooter の最大射程である 600mm とし，室図 3（左）手で払って切り替えるジェスチャ

内は無風状態であった．

（右）手で扇いで香りを嗅ぐジェスチャ© 2023 Information Processing Society of Japan876

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-23
2023/3/1

6 種類の香りをそれぞれ scent 1～6，ハンドジェスチャタス
クを hand_s1～6，タッチパネルタスクを panel_s1～6 とした．グラフ中のエラーバーは標準誤差，***，**はそれぞれ
p < .001，p < .01 を示す．
5.1 香りの種類間検定
表 2 に各香りにおいて，ハンドジェスチャ・タッチパネ
ル操作時の平均所要時間のパラメータを示す．また，いずれのタスクにおいても欠損値はなかった．ハンドジェスチ
ャ を 用 い た 場 合 ， 香 り の 認 識 時 間 の 平 均 値 は 3,000 ～図 4 評価実験の様子

4.4 実験刺激（香りの種類）

4,000ms であるのに対し，タッチパネルを用いた場合は6,000～7,000ms と高かった．

嗅覚提示に使用した嗅覚ディスプレイ Aroma Shooter では，全 6 種類の香りを噴射しユーザに提示することができ

表 2各香りにおけるハンドジェスチャ・タッチパネルる．提案システムでは，区別しやすいように，関連性の低い 6 種類の香りを採択した：①マンダリンクランベリー，②ブルーベリー，③ココナッツライム，④ダークチョコレ
ート，⑤グレープフルーツ，⑥フローラルソープであった．

4.5 実験方法
非接触型アロマサイネージシステム（嗅覚ディスプレイ）の操作において，「タッチパネル」と「ハンドジェスチャ」の 2 種類のインタフェースを用いて実験を行った．香りが提示されてから認識されるまでの時間を測定し，提案システムは嗅覚提示の効率化に有効であるかを調査する．
被験者は，モニタ画面に提示された香りの画像を見ながら，タスクをはじめる．提示された香りを認識でき次第，「はい」と声出して担当者に知らせるよう教示した．被験者 1 人には合計 24 タスクを実行してもらった．本実験の前に，ハンドジェスチャタスク・タッチパネルタスクを 1セットずつ（全 12 タスク）練習を行ってもらった．

操作時の平均所要時間のパラメータ

水準

平均値

標準偏差

hand_s1

3372.051252.39267.011

hand_s2

4000.912239.44477.449

hand_s3

3597.141163.02247.956

hand_s4

3715.18

1214.38

258.907

hand_s54323.18

1468.68

313.124

hand_s64052.82

1694.98361.371

panel_s1

6135.452097.30

447.146

panel_s2

6627.27

1852.95

395.050

panel_s3

6593.27

1817.53

387.498

panel_s4

6421.452072.55

441.869

panel_s5

7019.32

1590.50

339.096

panel_s6

6360.09

1668.05355.629

標準誤差

表 3 に各香りにおけるハンドジェスチャ・タッチパネル
操作時の所要時間に対して，ｔ検定を行った結果を示す．

また，嗅覚疲労により嗅覚の感度が一時的に低下することを防ぐため，タスク数を最小限に控えて実験デザインを

表 3行った．におい物質は成分によって嗅覚疲労の程度が異なり，嗅覚刺激が大きいほど，または長時間であるほど，嗅覚疲労が大きく，やがてそのにおいを全く感じなくなってしまう[17]．本実験では，長續ら[18]が提案した「嗅覚の順応と回復過程」を参考し，無臭空気を嗅ぎ始めてから 1 分以内に嗅覚機能が回復していると見られたことにより，1タスクに 10,000ms 以上かかった場合に 1 分間の休憩時間を設けた．

5. 実験結果と分析

各香りにおけるｔ検定の結果

tdfp

scent 1-5.31

42

<.001

scent 2-4.24

42

<.001

scent 3-6.51

42

<.001

scent 4-5.28

42

<.001

scent 5-5.84

42

<.001

scent 6-4.55

42<.001

各香りにおいて，認識するまでの所要時間の平均値を比較した結果を図 5 に示す．

実験では，132 回（6 タスク×2 セット×11 人＝132 回）の試行が計測された．分析には対応なしのｔ検定を行った．

© 2023 Information Processing Society of Japan877

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-23
2023/3/1

表 5 に各被験者におけるハンドジェスチャ・タッチパネ
ル操作時の所要時間に対して，ｔ検定を行った結果を示す．
表 5

図 5

各被験者におけるｔ検定の結果

tdfp

subject 1-4.37

22<.001

subject 2-4.60

22<.001

subject 3-4.44

22<.001

subject 4-1.04

220.311subject 5-3.24

22<.01subject 6-3.35

22<.01subject 7-4.04

22<.001

subject 8-7.41

22<.001

subject 9-5.09

22

<.001

subject 10-6.99

22<.001

subject 11-6.81

22<.001

検定結果により，被験者 11 人中，被験者 4 を除くすべて各香りにおける平均操作時間差の被験者において，タッチパネル用いた操作がハンドジェ
検定結果により，タッチパネルを用いた操作は scent 1～スチャを用いた場合より有意に遅かった（p < 0.01）．なお，

6 のいずれにおいても，ハンドジェスチャより有意に遅か

被験者 5, 6 では p < 0.01，被験者 1, 2, 3, 7, 8, 9, 10, 11 ではった（p < .001）．

p < 0.001 でハンドジェスチャ・タッチパネルを用いた操作間に有意差がみられた．

5.2 被験者間検定
表 4 に各被験者（subject）におけるハンドジェスチャ・タッチパネル操作時の平均所要時間のパラメータを示す．
また，いずれの被験者においても欠損値はなかった．
表 4

各被験者における平均所要時間のパラメータ6. 考察
評価実験の結果により，嗅覚ディスプレイの操作において，ハンドジェスチャを用いた操作は，従来手法のタッチ水準平均値

標準偏差

標準誤差

パネルより香りを認識するための所要時間が有意に短いこ

subject 13418.33

1523.18439.705とが示された．ハンドジェスチャによって起こされた気流

subject 23315.42920.845265.825

で香りの伝達が加速され，香りがユーザの認識範囲内に到

subject 34471.75

1266.95

365.738

subject 44489.17

1841.19531.505

hand

subject 54836.25

1086.27

313.580チャを用いた嗅覚ディスプレイの操作は，嗅覚提示の効率

gesturesubject 64931.17

1779.55513.712

化に有効であることが示された．

subject 75305.50

1726.29498.336

一方，香りの連続提示による嗅覚順応の特徴および物質

subject 83319.92911.713263.189

問における感覚強度の低下[19]を防ぐために，本実験ではsubject 92892.75

587.655

169.641

subject 102369.67

517.994149.532

subject 112929.081085.82313.450が，嗅覚順応による感覚強度の低下を完全に回避すること

subject 1

6304.081709.63493.527

が難しい．

subject 25708.831551.63447.916

subject 37044.251555.62449.068

subject 45214.08

1571.06

453.525

touch

subject 56637.83

1593.03459.868

panel

subject 67064.00

1305.82376.956

意差が見られなかったため，提案システムの有効性は嗅覚

subject 78218.00

1801.08

519.926

機能の個人差に影響される可能性が示唆された．

subject 87625.50

1793.30517.682

model

subject 95554.75

1714.93495.058

subject 105167.00

1285.11370.980

subject 117249.25

1909.51551.228© 2023 Information Processing Society of Japan達するまでの遅延が短縮された．結果的に，ハンドジェス嗅覚提示のタスク数を最小限に設定しユーザ実験を行った

なお，香りの種類間検定では，すべての種類において有意差が見られたが，被験者間検定では，被験者 4 においては，ハンドジェスチャ・タッチパネルを用いた操作間に有878情報処理学会 インタラクション 2023
IPSJ Interaction 2023

7. まとめ
本稿では，「気流への影響」という観点から，嗅覚ディスプレイの操作インタフェースとして最適なハンドジェスチャを考察した．それらの考察のもとで，ハンドジェスチャで操作できる非接触型のアロマサイネージシステムを試作した．提案システムを用いて評価実験を行った結果，嗅覚ディスプレイの操作において，ハンドジェスチャを用いた操作は，従来手法のタッチパネルより香りを認識するため

3B-23
2023/3/1

ェース学会論文誌, 2013, Vol.15, No.1, pp.25-38.
[17] におい・かおり環境協会. においの用語と解説. 環境庁大気保全局/臭気対策研究協会, 1998.
[18] 長績仁志, 山中俊夫, 相良和伸, 甲谷寿史, 桃井良尚, 竹村明
久. 臭気強度評価から見た嗅覚の順応と回復過程に関する研究.空気調和・衛生工学会大会近畿支部発表会論文集, 2010,
pp.93-96.
[19] 磯崎文音, 棚村壽三, 玉井里奈, 榊原清美, 岩井幸一郎, 今枝孝夫, 中島毅彦, 光田恵. においの連続提示による嗅覚順応についての検討. 人間-生活環境系シンポジウム報告集, 2015,
pp.15-18.の所要時間が有意に短いことが示された．ハンドジェスチ
ャによって起こされた気流で香りの伝達が加速され，香りがユーザの認識範囲内に到達するまでの遅延が短縮された．
結果的，ハンドジェスチャを用いた嗅覚ディスプレイの操作は，嗅覚提示性能を高めていることが示された．

参考文献[1] 金東煜, 安井愛子. 嗅覚ディスプレイを用いた香りビジネス.
2021, 3D 映像, Vol.33, No.5，pp.48-55.
[2] “Aroma Shooter® 香り世界への入り口”, https://aromajoin.com/,（参照 2022-12-02）.
[3] 金東煜. ベンチャービジネス香りコミュニケーションで世界を変える. 映像情報メディア学会誌, 2020, Vol.74, No.2,pp.366-369.
[4] Kim, D., Cho, Y., Nishimoto, K., Kawakami, Y., Kunifuji, S. andAndo, H.: Development of aroma-card based soundless olfactory
display. In Proceedings of the 16th IEEE International Conference
on Electronics, Circuits and Systems (ICECS 2009), pp.703-706.
[5] 彭雪儿, 宮下芳明. 気流への影響を考慮した嗅覚ディスプレイ
操作ジェスチャ. エンタテインメントコンピューティングシ
ンポジウム論文集, 2022, Vol.2022，pp.129-131.
[6] “KAORI ON DEMANDO”,
http://www.shiseido.co.jp/s9605viv/html/viv00201.htm.
[7] 金東煜. 嗅覚ディスプレイの製品開発及び事業化に関する一考察. Aroma research = アロマリサーチ : journal of aroma
science technology and safety, 2015, Vol.16, pp. 328-333.
[8] J. P. Cater: Smell/taste: odors in reality, Proceedings of IEEE
International Conference on Systems, Man and Cybernetics, 1994,
vol.2, pp. 1781.
[9] 廣瀬通孝. 嗅覚ディスプレイに関する研究. 日本バーチャルリ
アリティ学会第 2 回大会論文集, 1997, p.155-158.
[10] 廣瀬通孝. 嗅覚ディスプレイに関する研究. 日本 VR 学会第5 回大会論文集, 2000, p.193-196.
[11] Yanagida, Y., Kawato, S., Noma, H., Tomono, A., Tatsutani, N.:
Projection−Based Olfactory Display with Nose Tracking. IEEE
Virtual Reality, 2004, pp.43-50.
[12] 伴野明, 勝山一. 空気触覚を用いた吸気誘導による嗅覚提示法の検討. 空気触覚を用いた吸気誘導による嗅覚提示法の検討, 2015, pp.214-224.
[13] “Stereo IR 170”. https://www.ultraleap.com/product/,（参照2022-06-02）.
[14] “Unity Real-Time Development Platform | 3D, 2D VR & AR
Engine, Unity Technologies (online)”. https://unity.com/,（参照2022-07-03）.
[15] “ULTRALEAP PLUGIN FOR UNITY”,
https://developer.leapmotion.com/unity#setup-unity-packages,（参照 2022-07-03）[16] 中洲俊信, 大平英貴, 池司, 大内一成, 岡田隆三. 自然な手振りによる直感的なハンドジェスチャ UI. ヒューマンインタフ© 2023 Information Processing Society of Japan879