情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D202022/2/21

オーダー業務支援のためのポインティングショーケース
正畑智徳 1

中川桜 2 吉原和明 2

中道上 2,3

渡辺恵太 4

山田俊哉 5

概要：コロナ禍において「三密」(密閉，密集，密接)を回避し，人との接触を減らすことが求められている．ケーキ
販売店でのケーキのオーダー業務において，密接については徹底することが難しい場合がある．本研究では，対面型ポインティング環境であるポインティングショーケースを提案する．提案する環境は，対面でのフォーカスエリアの確認が可能なスクリーン用透明フィルムと指差し先にフォーカスエリアを表示するスポットライティングから構成される．オーダー業務での比較実験を行った結果，提案環境によりオーダー時の正答率が向上した．

1. はじめに
近年，新型コロナウイルス感染症（COVID-19）の流行により新型コロナウイルスを想定した「新しい生活様式」[1]という考え方が厚生労働省より提言されている．新しい生活様式では，「三密」（密閉，密集，密接）を回避し，人との接触を減らすことが求められている．
ケーキ販売店においても，「三密」を避けるため，様々な取り組みが行われている．密閉を避けるために定期的な換気を行ったり，密集を避けるために入店人数制限を設けたりして対応している．しかし，密接については，店員が客に対してケーキのオーダー業務を行う際，店員が客のオーダーを聞くため，徹底することが難しい場合がある．また，ショーケースを介した客同士の接触も考えられる．
本研究では，「ケーキ販売店における店員と客の密接を避けたケーキオーダー業務」といった注文作業を支援することが目的である．そのため，客による指差し位置を，照明器具であるスポットライトのように一点を明るく照らし出すことで離れた位置からのケーキの注文が可能になると考える．本研究では，指差しジェスチャーによって直感的に操作可能なスポットライト型ポインティング環境であるポインティングショーケースを提案する．また，通常のショーケースでのオーダー業務と，ポインティングショーケースでのオーダー業務にかかる時間を比較するための実験を行った．

2. 関連研究
ジェスチ ャーによるポインティングが可能な RemoteTouch Pointing[2]が挙げられる．

図 1 Remote Touch Pointing の使用例を表示する．そのため，直観的にポインティングを行うことが可能であるとされている．図 1 に Remote Touch Pointingの使用例を示す．
通常のポインティング環境は 1 名または複数名の利用者が同方向にあるスクリーンなどのディスプレイ環境に向かって指差す同方向型のポインティング環境である．しかし
本研究で対象としているショーケースでは，利用者同士が対面で利用する場面が想定される．このような対面型ポインティング環境の適用場面は，まだ数少ない．

3. ポインティングショーケース
ケーキ販売店において，客と店員の密接を避け，ショーケースから距離を取ることを目的としたポインティングショーケースを提案する．

Kinect[3]は人の骨格を追跡することが可能であり，からポインティングショーケースではポインティング位置だ 全体 の ジ ェ ス チャ ーを 認識 す る こ と に 優 れ てい る．

が客側，店員側と両面から見える必要がある．また，狭いKinect を用いたジェスチャーによるポインティングシステ

ケーキ販売店内で投影を行うため，限られた場所でプロジムとして Remote Touch Pointing の研究が進められている．

ェクターを設置する必要がある．そのためポインティング

Remote Touch Pointing は体の一部を基点，操作点としそれショーケースでは前面からでも背面からでもポインティンらの延長線上をポインティング位置としてマウスカーソルグ位置が分かるように ENEOS 社の KALEIDO SCREEN®
（スクリーン用透明フィルム）[4]のフロント型を使用した．

1 福山大学大学院工学研究科
2 福山大学工学部情報工学科
3 アンカーデザイン株式会社
4 エムスリー株式会社
5 NTT テクノクロス株式会社© 2022 Information Processing Society of Japan

またスクリーンから近い位置でも投影することが可能な短焦点プロジェクターを使用することで限られた場所でも投影を可能にした．

341

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D20
2022/2/21

客のケーキへのポインティング位置には，スポットライ
トのように焦点を当てる範囲であるフォーカスエリアを円で表示する．フォーカスエリアは，単焦点プロジェクター
でショーケースに対して映し出しており，黒色の背景に白い円を表示し，その明度差によってスポットライトのような表現を実現している．
ケーキ販売店での利用を想定する場合，指差し位置を明示するために指差しジェスチャーによる直感的なポインテ
ィング操作をできる機能が必要である．提案するポインティングショーケースは，対面でのフォーカスエリアの確認が可能なスクリーン用透明フィルムと指差し先にフォーカスエリアを表示するスポットライティング[5]から構成さ

図 2 客役から見たケーキをポインティングしている様子れる．また，本研究ではケーキ店などのショーケースで利用することを考慮し拡大，縮小をおこなう機能は使用できないようになっている．ポインティングショーケースを利用してケーキをポインティングする様子を図 2，3 に示す．
指差しジェスチャーによるポインティングシステムには，Kinect を利用した Remote Touch Pointing を用いることで，ポインティングの際にポインティングデバイスなしに操作可能である．そのため，直感的なフォーカスエリアの移動が可能である．

4. オーダー業務時間の記録実験
ケーキ販売店における注文方法ごとのオーダー業務時間を評価するために，実際のケーキ注文を想定し，オーダ

図 3 店員側からみたケーキをポインティングする様子ー業務にかかる時間を計測した．参加者は 15 名の大学生である．実験では「通常のショーケースでの指差しのみ」での注文，「通常のショーケースでの指差しと口頭による商品名の説明」での注文，「ポインティングショーケースでの指差しのみ」での注文，「ポインティングショーケースでの指差しと口頭による商品名の説明」での注文の 4 種の注文方
法のオーダー業務にかかる時間を評価する．
4.1 実験環境実験で用いた 4 種の注文方法を下記に示す．


支援無・品名無オーダー



支援無・品名有オーダー

 通常のショーケースでの指差しのみでの注文
 通常のショーケースでの指差しと口頭による商図 4 実験環境のレイアウト

品名の説明での注文


支援有・品名無オーダー

ケーキの種類は，「苺ショートケーキ」「チョコレートショ ポインティングショーケースでの指差しのみでートケーキ」「クラシックショコラ」「プリン・アラモード」の注文
「まんまる苺ケーキ」「ホワイトチョコレートカップ」「シ支援有・品名有オーダーュークリーム」「苺のカップケーキ」「苺パイ」「スフレチー ポインティングショーケースでの指差しと口頭ズケーキ」「ベイクドチーズケーキ」「ブルーベリーレアチによる商品名の説明での注文
実験環境のレイアウトを図 4 に示す．実験環境は実際のケーキ販売店を想定し，ポインティングショーケースの前ーズ」の 12 種類を設定しだ．本実験ではケーキ販売店におけるオーダー業務にかかる時間を評価することを目的としている．に客役，後ろに店員役を配置して行った．客側が注文する© 2022 Information Processing Society of Japan342

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D20
2022/2/21

表 1 注文方法毎の平均オーダー時間（s）
支援無・品名無オーダー

支援無・品名有オーダー

支援有・品名無オーダー

支援有・品名有オーダー

平均値

標準偏差平均値

標準偏差平均値

標準偏差平均値

標準偏差

3.83

4.21

2.60

1.39

9.29

8.27

7.44

3.88

認知時間

3.14

2.05

2.79

1.69

3.01

2.27

2.58

1.68

応答時間

6.32

3.28

5.39

1.77

12.29

8.25

10.02

4.09

オーダー時間

9.85

4.09

8.64

2.33

15.39

8.30

12.81

3.00

指差し移動時間

正答率

70%

93%

100%

100%

応答時間＝指差し移動時間＋認知時間
4.2 実験手順

ために，タスクを開始してから客役がケーキを指差すまで実験では，監督者が客役にどのケーキを注文するか指示の時間を指差し移動時間，店員役が注文されたケーキの位し，店員役は客役に注文されたケーキを探し，確認するタ

置を認知するまでの認知時間，移動時間と認知時間を足しスクを行った．参加者一人当たりのタスクとして，各注文た応答時間，すべてのタスクが完了したタスク時間，正答方法を 2 回，つまり 4 手法×2 回の計 8 タスクを行った．

率について分析した．実験の結果を表 1 に示す．

手順 1：案内手法の指示

5.1 正答率の分析と考察

客役と店員役に案内手法を指示する．
手順 2：注文するケーキの指示
客役に注文するケーキの指示を行う．
手順 3：タスクの開始

正答率では，支援を行った場合は共に 100%，支援無・品名有オーダーは 93%，支援無・品名無オーダーが 70%と，支援を行った場合正答率が上がる結果となった．指差しだけでは上下左右どこを指しているか分かり辛く誤ったケー

監督者は客役と店員役の準備完了を確認し合図とキを取ってしまうことが合った．しかし，提案したポイン

ともにキーボードの ESC キーを押下後タスク開ティングショーケースにより、ケーキがフォーカスエリア始とする．この時両手を下ろしていることを確認で強調されることで，間違いがなかったと考えられる．しし実験を開始する．

たがって，本環境はケーキ販売店における誤注文を防ぐ効

手順 4：時間の記録
客役は指示された本を指差した時点で Enter キーを押下する．タスクを開始してから「指差し移動」にかかる時間を記録する．
手順 5：オーダーの終了

果があると考えられる．
5.2 指差し移動時間の分析と考察
移動時間では支援無・品名無オーダーが 3.83 秒，支援無・品名有オーダーが 2.60 秒，支援有・品名無オーダーが9.29 秒，支援有・品名有オーダーが 7.44 秒と，支援無・品

店員役は指示されたケーキを認知した時点で名有オーダーが最も短かった．支援無・品名有オーダーのSpace キーを押下後，オーダー終了とする．指差

指差し移動時間が短かった理由として支援無でのオーダー

し時点から店員役がケーキを見つけるまでの「認では，指差し先の正確な位置を確認することがないため調知」にかかる時間を記録する．

整の必要がなくなり時間がかからないためだと考えられる．

手順 6：タスクの終了

支援有でのオーダーでは，フォーカスエリアを確認しなが監督者は店員役が Space キーを押下したことを確

ら指差しをするため指差し移動時間が長くなったと考えら

認後，注文した商品が正しかったかを確認し，ESCれる．

キーを押下後，タスク終了とする．監督者の開始

5.3 認知時間の分析と考察

後の ESC キー押下後から最後に ESC キーを押下するまでの「オーダー」にかかる時間を記録する．
手順 7：手順 1~6 を繰り返す

5. オーダー業務時間の分析と考察
案内手法ごとのオーダー業務にかかる時間を評価する© 2022 Information Processing Society of Japan

認知時間では支援有・品名無オーダーが 3.14 秒，支援無・品名無オーダーが 2.79 秒，支援無・品名有オーダーが3.01 秒，支援有・品名有オーダーが 2.58 秒と，支援有・品名有オーダーが最も短かった．支援有でのオーダーの認知時間が短かった理由として支援を行ったことで注文されたケーキが視認しやすく，ケーキ名を呼ぶことで視覚だけで343

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D20
2022/2/21

なく聴覚でも注文を確認できるためだと考えられる．支援

ケーキ販売店内で投影を行うため，限られた場所でプロジ無でのオーダーは，指差しだけでは注文された品名が分かェクターを設置する必要がある．そのためポインティングり辛いため認知移動時間が長くなったと考えられる．

ショーケースでは前面からでも背面からでもポインティン

5.4 応答時間の分析と考察

グ位置が分かるようにフロント型の透明フィルムスクリー

応答時間では支援無・品名無オーダーが 6.32 秒，支援ンを使用した．またスクリーンから近い位置でも投影する

無・品名有オーダーが 5.39 秒，支援有・品名無オーダーがことが可能な短焦点プロジェクターを使用することで限ら12.29 秒，支援有・品名有オーダーが 10.02 秒と，支援無・れた場所でも投影を可能にした．

品名有オーダーが最も短かった．支援無・品名有オーダー

客のケーキへのポインティング位置には，スポットライの指差しの応答時間が短かった理由として，支援の有無のトのように焦点を当てる範囲であるフォーカスエリアを円移動時間の差と，認知時間の差を比べた時に移動時間の差で表示する．フォーカスエリアは，単焦点プロジェクターが大きかったためだと考えられる．

でショーケースに対して映し出しており，その明度差によ5.5 オーダー時間の分析と考察ってスポットライトのような表現を実現している．

オーダー時間では支援無・品名無オーダーが 9.85 秒，支ケーキ販売店におけるオーダー業務において「支援無・援無・品名有オーダーが 8.64 秒，支援有・品名無オーダー品名無オーダー」「支援無・品名有オーダー」「支援有・品が 15.39 秒，支援有・品名有オーダーが 12.81 秒と，支援名無オーダー」「支援有・品名有オーダー」の 4 つの注文方

無・品名有オーダーが最も短かった．オーダー時間も上記

法毎の注文にかかる時間であるオーダー時間を計測し分析応答時間と同じく支援の有無の移動時間の差と，認知時間した．オーダー時間では，支援無・品名有オーダーが 5.39の差を比べた時に移動時間の差が大きかったため支援無・秒と最も短く，支援無・品名無オーダーが 9.85 秒，支援有・品名有オーダーが一番短かったと考えられる．

品名有オーダーが 12.81 秒，支援有・品名無オーダーが 15.39

5.6 今後の展望秒と最も長い結果となった．また，支援を行うことでオー実験より，ポインティング精度が低いため，移動によりダー業務における注文の正答率も向上した．

多くの時間が掛かった．そのため，ポイティング精度を向これらの分析結果から，オーダー業務において本研究で上させることで移動時間を減少させ，オーダー業務にかか提案したポイティングショーケースは誤注文の確率を低下る時間を短縮させる必要がある．

させ，密接を回避し，少ない言葉数でオーダーが可能であ

また，本研究における実験では，実際のショーケースのると考えられる．

ような商品を良く見せるようなライトアップされた空間の再現を行わずに実施した。そのため今後の課題として，ライトアップをされた空間でも，ポインティング位置が明確になるようにフォーカスエリアの投影の仕方を考える必要がある．また，本研究における実験では，客側は一人での注文を想定し実験を行った．しかしながら，買い物には一人ではなく複数人が訪れる場合もあるため，複数人がシス謝辞
本研究は電気通信普及財団の研究調査助成により実施いたしました．厚く御礼申し上げます．

参考文献
[1]

テムを使用する事態も想定する必要がある．そのため，複数人でも正しくポインティングできるように検討する必要がある．

[2]

今回の実験環境では実際のサイズのケーキを印刷して疑似ポインティングショーケースを準備している．現在，ディスプレイの低価格化が進んでおり，実際のケーキケー[3]スに近いポインティングショーケースの実現が期待できる．
実現のためには提案手法であるポインティングショーケー[4]スが必要となると考えられる．

6. まとめ本研究では，ケーキ販売店において，客と店員の密接を[5]“新型コロナウイルスを想定した「新しい生活様式」の実践例を公表しました” .
https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/0000121431_ne
wlifestyle.html, (参照 2021/12/20).
中道上, 渡辺恵太, 天早健太, 杉原慶哉, 山田俊哉. 視認性と直観性を考慮したプレゼンテーション支援: Remote Touch
Pointing. 日本教育情報学会第 33 回年会論文集, 2017,
pp. 286-287.
“Kinect - windows アプリの開発”.
https://developer.microsoft.com/ja-jp/windows/kinect/ ,(参照 2020/12/18).
“KALEIDO SCREEN®（スクリーン用透明フィルム）”.
https://www.eneos.co.jp/business/function/kareido_screen/,(参照 2021/12/16)．
中道上, 渡辺恵太, 山田俊哉. スポットライティング: 認知
共有のためのスポットライト型ポインティングシステム. 情報処理学会インタラクション 2016 論文集, 2016, pp.964-969.

避け，ショーケースから距離を取ることを目的としたポインティングショーケースを提案する．
ポインティングショーケースではポインティング位置が客側，店員側と両面から見える必要がある．また，狭い© 2022 Information Processing Society of Japan344