情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-02
2020/3/9

FollowSelect: 準備動作が必要な機器の利用に適した経路追従型メニュー選択手法榮井 優介1,a)

石黒 祥生2,b)

西野 隆典3,c)

武田 一哉2,d)

概要：本研究では，システムがどんなサービスを提供しているかをユーザが直感的に理解し，スムーズにサービスを選択することを可能にする FollowSelect を提案する．FollowSelect は，システムが提供するサービスを説明するアイコンや文字と，ユーザ位置からサービスの提供する場所までの経路を床面に投影することでメニューを提示し，ユーザは希望するサービスの経路をたどって移動することで追加の操作なしに選択することができるインタラクション手法である．システムはユーザの選択を早い段階で理解できるため，準備動作が必要なシステムでもユーザがシステムのある場所にたどりついた時点ですぐに利用することが可能になる．さらに，ユーザはシステムの持つ機能を見逃さなくなることが期待できる．本論文
では，FollowSelect の実装方法と，職場や自宅などの居住空間や自動運転車両への応用例について述べる．

1. はじめに

1

3

自動運転車両や自宅や職場などの居住空間では，人が実際に乗りこんだり中で居住・時間を過ごしたりするなど，情報技術のみで完結せずユーザの物理的な移動が必要である．そこで本研究では，システムが提供しているユーザの2利用が可能なサービスの情報と，それが提供される場所への経路を，図 1-1 に示すように床面に投影することでユーザに明示し，ユーザは希望の経路を追従し移動することでメニューを選択することのできるインタラクション手法，

FollowSelect を提案する．車両の場合はユーザがスムーズに乗車するためにドアやトランクを開けシートポジション

図 1 FollowSelect を居住空間に応用する例を示す．居住空間にいるユーザがコップを持った時に，FollowSelect はまず 1. ユー
ザに提供できるサービスについてアイコンやテキストとその場を調整したり，居住空間の場合コーヒーマシンを利用する所への経路を投影することで情報提示を行う．2. ユーザが経際に水を温めるといった，ユーザが利用するために準備動路をたどり移動することでコーヒーをいれるサービスを選択す作が必要なシステムが存在するが，FollowSelect を用いる

るとその間に水をあたためるなどの準備動作を行い，3. ユー

ことで，経路をたどって選択している間に準備動作を行う

ザがボタンを押すことですぐにコーヒーをいれることが可能

時間を確保できるため，その時間を利用してシステムの準備動作を完了させ，ユーザはシステムまでたどり着き次第すぐに機能を利用することができる．また，移動するというもともと最低限必要であった作業でメニューを選択することが可能であるため，追加で明示的に選択操作をする必要がない．さらに，どのようなサービスが提供されていて，
1
2
3a)
b)
c)
d)

名古屋大学 情報学研究科
名古屋大学 未来社会創造機構
名城大学 都市情報学部
yusukesakai@acm.org
ishiy@acm.org
nishino@meijo-u.ac.jp
kazuya.takeda@nagoya-u.jp© 2020 Information Processing Society of Japanになる．

それをどのように利用するかをユーザが理解するためには，対象物と人間との間のインタラクションの可能性を示唆する手掛かりを意味するシグニファイア [1] が非常に適切に付与されていない限り，説明書を読んだり試行錯誤して利用してみる必要がある．システムが高度化し多くのサービスを提供している場合や，居住空間のような部屋を 1 つの大きなシステムと考えた場合，全てのサービスそれぞれに対して適切なシグニファイアを設けるのは難しいと考えられるが，経路追従型のメニュー選択手法により，ユーザはシステムがどのようなサービスを提供しているのかを直感

512

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-02
2020/3/9

表 1 提案手法 (FollowSelect) と他のメニュー提示・選択手法との比較．

GUI

ジェスチャ

音声対話

SOI

FollowSelectシステムの準備動作時間の確保△××⃝⃝

付加的操作が不要

××××⃝

離れた場所からの操作△⃝

⃝

△

⃝

システムの持つ機能の直感的な提示⃝××⃝⃝

覚える必要のある操作方法の少なさ⃝×⃝⃝⃝

的に理解することができ，機能を見逃さなくなることが期

はユーザは選択するために足踏みなどの身体動作を「選択待できる．のための動作」として追加で行う必要がある．

2. 関連研究2.1 メニュー提示・選択手法

Apple の Siri のように音声対話を用いたインタラクションが既に実用化されている．音声対話の場合，対話によりコマンドを入力することからジェスチャに比べると覚える

これまでメニュー提示・選択のためのインタラクション

操作方法は少ないが，発話する必要があったり，システムとして多く手法が提案されている．従来手法を「ユーザがからユーザに対して可能な機能を提示するためには各機能目的達成のために，離れた場所に設置してある機器まで移について発話で説明する必要があり，時間がかかる上に直動し利用する」というシーンでの利用に適用することを感的ではない．

考えてみる．コンピュータにおいては、ボタンやセレクトユーザが環境内のなんらかの機器を使うときに移動するボックスなどでメニューを提示し、ユーザによるマウス必要がある場合に限れば，機器に至る経路そのものを選択やタッチパネルを通じた入力により選択を行う Graphical

肢として提示し，ユーザがどの経路を歩いたかによりユー

User Interface (GUI) が広く用いられている．情報機器をザの選択を認識することで，追加の動作を必要としないメ

利用する場合，画面上のメニューにより機能が一瞥でき，ニュー選択が可能になる．

マウスやタッチ操作により直感的に操作できるが，現実空

表 1 に，本研究とこれらのメニュー提示・選択手法との間上に GUI を実装するのは難しく，機器に直接画面など違いをまとめた．本研究では，ユーザに対してシステムがを取り付ける必要があることから離れた場所から操作でき提供するサービスの情報を提示し，ユーザは付加的な動作ない．離れた場所から操作を行うためにスマートフォンや無しに移動するだけでその中から選択することのできるイ

リモコンを用いたインタラクションも考えられるが，操作ンタラクションを実現する．のための機器を持ち歩き，取り出し操作するという動作が必要である．また，なんらかの機器を利用したいしたいと

2.2 投影による情報提示およびユーザの行動誘導

思った時点で操作を行うため，機器に準備動作が必要な場

店舗などにおける床面に貼られた待ち位置の明示のよう合は，その指示をあらかじめ行うことで事前に準備させるに，プロジェクタにより床や壁に情報を投影することで，ことができるが，明示的な操作が追加で必要である．

ユーザに情報を提示したりユーザの行動を誘導すること

また、手などのジェスチャを利用したメニュー選択も提ができる．例えば Lee は，移動ロボットが床や壁などに情案されている．Kollee らは手のジェスチャにより部屋のラ報を投影することで視覚的情報支援を行うことのできるイトをコントロールするインタラクションを提案していUbiquitous Display (UD) を提案している [4]．さらに塩谷る [2]．部屋などの環境全体でジェスチャ認識を行うこと

らは，この UD を搭載する自律型の移動ロボットを用いるができれば，離れた場所から直接操作することができるが，ことでショッピングモールのような人が動的に存在する環システムをはじめて使う場合は使い方を覚える必要があり，境で情報支援を行うための移動ロボットの行動モデルを設機能が増えていくとユーザが覚えなければならないジェス計している [5]．移動ロボットが掲示板や地図を見ている

チャの種類も増えるといった問題がある．松丸らは，ジェユーザに近づき付加的な情報を提示したり，歩くユーザにスチャとメニュー表示を組み合わせたインタラクションと対して追従し光により道案内を行うといった支援を提案しして，床に選択肢を投影し，ユーザはそこから希望するもている．他にも，ユーザに追従するドローンから地面に情のを足で踏むことで選択できるという「ステップ・オン・報を投影することで道案内を行うシステムも提案されていインタフェース (SOI)」を提案している [3]．システムはる [6]．また，床や壁だけではなく，ユーザの身体そのもユーザに対し選択可能な機能を視覚的に提示することがでのに情報を投影することでユーザの行動を誘導することにき選択することができる．移動する前にメニュー提示，選着目した研究も存在する．Sodhi らの提案する LightGuide

択を行うことでシステムが準備動作を行う時間も確保できでは，ウェイトトレーニングのフォームや楽器の演奏などるが，画面上での GUI 同様に，このようなメニュー提示でにおける正しい手の動きをユーザに指導することを目的と© 2020 Information Processing Society of Japan513

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-02
2020/3/9

ユーザ初期位置の認識

4. 応用例LightFollow メニューの投影

FollowSelect はユーザに対して複数の選択肢を提示し，ユーザは移動することで行動を選択することから，物理的にユーザが移動する必要のある，または移動すること自体ユーザ位置の認識が目的達成に必要である場合に有用であると我々は考えている．また，ユーザの行動に応じて異なる動作をするシス選択された経路の認識

テムの場合，より早い時間でユーザ希望する動作を決定す類似スコアが
閾値以上？

NoYes

準備動作の実施ることができるため，コーヒーマシンの場合は水を温める，自動運転車両の場合はドアを自動で開けシートの位置を調整するといった，準備動作の時間が必要なシステムにも有用である．さらに，カーシェアリングやライドシェアリングのような，自分でデバイスやシステムを所有するのでは

図 2

FollowSelect における処理の流れ．

なく複数人でシェアする場合など，ユーザがシステムを初めて利用するようなシチュエーションが考えられるものは，して，手を動かすべき方向を表す手がかりを手に直接投影可能な機能を直感的に提示，選択させることで迷わずに使する．これにより，正しい手の動きの映像を参考にして手うことができる可能性がある．本章では，FollowSelect をを動かす場合と比較してより正確に手を動かせることが確用いることで可能になると我々が考える応用例を述べる．

認されている [7]．このように，どうユーザに情報を提示し誘導するかについては検討されているが，あるシステムを4.1 居住空間への応用

使うことでユーザはどのようなことができるのかを直感的

職場や自宅など人が居住する屋内の空間ではプロジェクに理解させたり，その中でも何がしたいのかという行動のタやセンサを固定的に設置することが容易であることから，選択をどうスムーズに行うかについては検討されていない．

FollowSelect は屋内の居住空間との親和性が高いと我々は3. FollowSelect の概要考えている．橋本らは空間内で起こったイベントを理解しコンピュータやロボットを用いて情報を活用することでFollowSelect は，ユーザにとって可能な物理的アクショユーザにとって適切なサービスを行う機能を持つ空間をインの選択肢の情報とその経路をユーザの足元に投影する

ンテリジェント・スペース (Intelligent Space: 知的空間，ことで明示し，ユーザは移動しながら希望するサービスを知能化空間) と定義している [8] が，我々の FollowSelect を選択することのできるインタラクション手法である．図 2

応用することで空間内で利用可能なサービスをユーザに対に FollowSelect の処理の流れを示し，図 1 に示した居住空してより直感的にユーザに提示し，ユーザの選択を認識す間への応用例と合わせて説明する．まず図 1-1 のようにることでユーザに対して適切なサービスを提供することがユーザがコップを持った際にシステムが起動し，センサの可能になる．

データからユーザの初期の位置を認識する．その位置情報

具体的には，図 1-1 のように居住空間内のソファでユーをもとに，コップを持ったユーザに可能な行動の選択肢，ザが空の紙コップを持った場合，システムはそれを認識し，FollowSelect メニューを，天井に吊るしたプロジェクタを(a) コーヒーをいれる，(b) 冷たい飲み物を入れる，(c) ゴ用いてユーザの足元に投影する．そして，再度ユーザの位ミ箱に捨てる，というその空間内で可能なサービスの情報置を認識し，ユーザがたどった経路と提示した複数の選択とそのサービスが提供される場所への経路を足元に投影す肢の経路の類似度を計算し，類似度が最大になる経路をる．ユーザはその中から希望するサービスの経路に沿ってユーザの選択として認識する．最大の類似度スコアがある

歩行することで選択し，システムはユーザの歩行経路から閾値を超えている場合はユーザの選択を確定し，対応するユーザが選択したサービスを認識することで，ユーザがたサービスのための準備動作を実施する．図 1-2 はユーザがどり着くまでの時間を利用してサービスの準備動作を完了“Get Coﬀee?” のメニューを選択したとシステムが決定しすることができる．ユーザが (a) のコーヒーを入れるサーた例であり，このように FollowSelect を用いることで，例

ビスを選択した場合は，自動的にコーヒーマシンの電源をえばユーザがコーヒーマシンまで歩いてくる時間を利用し入れて水を温めることでボタンを押せばすぐ抽出できる状てコーヒーマシンの電源を自動で入れて水を温めるといっ態にしておいたり，(c) のゴミ箱に捨てるサービスを選択た準備動作を行なうことで，ユーザがボタンを押せばすした場合は，ゴミ箱の蓋を自動で開けておくといった気のぐにコーヒーを入れられるようにすることが可能になり，利いたシステムの実現が可能になる．

ユーザの待ち時間と無駄な操作を減らすことができる．

© 2020 Information Processing Society of Japan514

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-02
2020/3/9

ラやデプスセンサを持ち，ユーザが近づいてくることや，カバンを持っていることを認識する機能を持つと仮定する．我々は停止している車両周辺の人物のスケルトンをデプスセンサを用いて検出・トラッキングし，ユーザのもつスマートフォンの加速度センサを組み合わせることでユー
ザと他者を識別できることを既に示しており [11]，現在はスケルトンや RGB センサのデータを組み合わせることで持ち物などの行動の認識に取り組んでいる．ユーザがカバンを持って車両に近づくと，車両はユーザが荷物を持って
図3

FollowSelect を車両に応用した例．車両はユーザが荷物を持っいることを認識し，そのまま乗車するかトランクに荷物をていることを認識し，トランクに入れるか荷物を持ったまま乗入れるかという 2 つの選択肢と経路をユーザの足元に投影るかという 2 つの選択肢をユーザに提示する．そして車両はする．ユーザはこの提示された選択肢から希望の経路をた

ユーザの移動経路をもとに選択を認識し，トランクや座席のドどることでサービスを選択し，もしそのまま乗車することアを自動で開けたりシートの位置を調整するなどの準備動作を行うことで，ユーザがスムーズに迷わず車両を利用することを可能にする．

を選択した場合はユーザが乗車するドアを自動で開けたり，トランクに荷物を入れる行動を選択した場合はトランクを自動で開けるといったことが可能になる．このように

4.2 自動運転車両への応用

車両に FollowSelect を応用することで，無人の自動運転車

自動運転技術は着実に進歩しており，近い将来に多くの両でも有人のタクシーのようにユーザの選択を尊重しつつ自動運転車両が行動で走行するようになることが期待さ

ユーザの行動を誘導し，より直感的に車両を利用することれている．例えば，Waymo は Waymo One という，訓練が可能になると考えられる．

されたドライバが同乗・監視を行う自動運転車両を用いた招待制のタクシーサービスをすでに公道でテストしてお5. 展示内容

り，2019 年 10 月にはドライバが同乗しない自動運転のテ

本デモ展示では，第 4.1 節で述べた，FollowSelect を室ストを一部の運行で開始することを発表している [9]．ま内の居住空間に応用したデモを展示する．プロジェクタをた，自動運転技術によりカーシェアリングやライドシェア用いてユーザの位置に応じて動的に FollowSelect メニュー

リングの自動配車や需要に対する効率的な車両割り当てなを投影し，ユーザが経路に沿って歩くことでメニューを選どが可能になることから，今後自動運転を応用した新しい択するインタラクションを体験できる展示を行う．

サービスの普及が期待できる．車両を複数人でシェアする
場合は利用するたびに異なる車両が割り当てられる可能性

6. 今後の課題があるが，車両によって持つ機能や使い方が異なり，ユーどれだけ広い範囲に文字やアイコンなどの細かい情報をザは機能を見逃したり，使い方が分からなくなるという問

投影できるか，環境光と比べてどの程度の明るさで情報を題が考えられる．Continental の Intelligent Door [10] のよ

投影すればユーザが利用しやすいかについて検討する．室うにユーザが近づいたことを認識してドアを自動で開けた内であれば通常のプロジェクタで十分な視認性を確保できり，リアバンパーの下に足をかざすことでトランクのドアると考えられるが，屋外で広い範囲に投影するためには一が自動で開くといった，ユーザの行動を認識しそれに応じ般的なプロジェクタでは十分ではない場合がある．Mullerてアクションを行う機能が開発されており，今後このようらが提案する BaseLase [12] は，レーザープロジェクタとな機能はますます増えていくと考えられることから，車両複数のミラーを利用した独自のシステムを構築することがユーザに対して提供するサービスの存在とその使い方をで，低解像度での広い範囲への投影と，高解像度の同時にユーザに直感的に提示することが重要になる．また，人間3 つまでの狭い範囲への投影を組み合わせ，直径約 10 m のの運転手が運行するタクシーの場合，乗客が荷物を持って円の範囲 (75 m2 ) という広い投影範囲と高い解像度を両立おりトランクに入れることを希望するか，持ったまま乗車している．このようなプロジェクタを利用し，ユーザが十したいかなどを会話やジェスチャによるインタラクション

分に情報を読み取るために必要な光量を実験により検討すを通じて理解しユーザのスムーズな乗車を補助することがることで，環境光の強い屋外環境においても FollowSelect可能だが，運転手の存在しない完全自動運転車両でこのよが実用できる可能性がある．

うな気の利いたサービスをどう実現できるだろうか？

また，どのようなユーザインタフェースを設計すればよ

図 3 に，FollowSelect をドライバの存在しない自動運転りユーザが迷わずに直感的にシステムを利用できるのかをを利用したタクシーサービスの車両に応用する例を示す．

検討するため，複数のインタフェースを実装しユーザスタ

まず前提として，この自動運転車両は高性能な RGB カメディを行う．例えば， “ユーザが選択したとシステムが認© 2020 Information Processing Society of Japan515情報処理学会 インタラクション 2020
IPSJ Interaction 2020

識した経路の色を変更し，ユーザの選択がシステムに正しく認識されているということを明示することでユーザはより安心してシステムを利用できるのか？” ， “システムがユーザの選択を決定した後にも複数の選択肢を表示し続けるか，消した方が良いか？” などのデザインの要素を検証し，より良いインタラクションデザインを行いたい．
さらに，現在は同時に 1 人のユーザのみに情報を提示しているが，複数のユーザに対して同時に情報を提示すると多くの経路が重なり合い，どれが自分の経路なのかが分かりにくくなる可能性がある．人ごとに色を変えたり，経路を途中で合流させるなど，複数のユーザが同時に利用しても分かりやすい情報提示，インタラクションの方法についても検討したい．

7. まとめ
本論文では，ユーザがシステムに対して可能な物理的アクションの選択肢を，アイコンとその経路を床面に投影することでユーザに情報提示し，ユーザは経路をたどって進むことで追加の操作なしに選択することを可能にするインタラクション手法，FollowSelect を提案した．FollowSelectを用いることで，ユーザは初めて使うシステムでもどのような機能があるかを理解し，経路に沿って移動することで直感的に選択することができると期待できる．FollowSelectは特にシステム側の準備動作が必要である場合や，物理的にユーザが動く必要のある，もしくは移動自体が目的であるデバイスにおいて有用であると我々は考え，主な応用例として居住空間と自動運転車両に応用する例を述べた．
今後は，第 6 章で述べたようにユーザにとって理解しやすく使いやすいユーザインタフェースを検討する．また，選択された経路の認識などのシステムの性能と，アンケートやインタビューにより FollowSelect によりユーザが直感

2A-02
2020/3/9

塩谷 朋之，前川 晃祐，岩本 健児，李周浩： 大型公共施設においてサービス提供を行う Ubiquitous Display のための行動モデルの構築，日本ロボット学会学術講演会，Vol. 30, 2N2-4 (2012).
[6]Knierim, P., Maurer, S., Wolf, K. and Funk, M.:
Quadcopter-Projected In-Situ Navigation Cues for Improved Location Awareness, Proceedings of the 2018
CHI Conference on Human Factors in Computing Systems, CHI ’18, New York, NY, USA, ACM, pp. 433:1–433:6 (online), DOI: 10.1145/3173574.3174007 (2018).
[7]
Sodhi, R., Benko, H. and Wilson, A.: LightGuide:
Projected Visualizations for Hand Movement Guidance, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’12, New
York, NY, USA, ACM, pp. 179–188 (online), DOI:
10.1145/2207676.2207702 (2012).
[8]
橋本 秀紀，新妻 実保子，佐々木毅： 空間知能化―インテ
リジェント・スペース，日本ロボット学会誌， Vol. 23,No. 6, pp. 674–677（オンライン），DOI: 10.7210/jrsj.23.674(2005).
[9]
Hawkins, A. J.: Waymo’s driverless car: ghost-riding in
the back seat of a robot taxi, THE VERGE (online),available from ⟨https://www.theverge.com/2019/12/9/
21000085/waymo-fully-driverless-car-self-driving-ridehail-service-phoenix-arizona⟩ (accessed 2019-12-21).
[10] Fillenberg, S.: Safe, Convenient, Award-Winning:
Continental Receives CES 2019 Innovation Award
for Intelligent Door System, Continental (online),availablefrom⟨https://www.continentalcorporation.com/en/press/press-releases/2018-1205-intelligent-door-153376⟩ (accessed 2019-12-21).
[11] 榮井 優介，石黒 祥生，西野 隆典，武田 一哉： CarBuddy:
加速度情報とスケルトン追跡による車両周辺ユーザの特定と意図推定，インタラクション 2019 論文集，pp. 489–493（ オ ン ラ イ ン ），入 手 先 ⟨http://www.interactionipsj.org/proceedings/2019/data/bib/2A-06.html⟩(2019).
[12] Müller, J., Eberle, D. and Schmidt, C.: BaseLase:
An Interactive Focus+Context Laser Floor, Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, NewYork, NY, USA, ACM, pp. 3869–3878 (online), DOI:
10.1145/2702123.2702246 (2015).

[5]

的かつ迷わずにシステムを利用できたかを評価すること
で，FollowSelect の有用性を検証する．
参考文献
[1]

[2]

[3]

[4]

Norman, D. A.: THE WAY I SEE IT: Signifiers, Not
Aﬀordances, Interactions, Vol. 15, No. 6, pp. 18–19 (online), DOI: 10.1145/1409040.1409044 (2008).
Kollee, B., Kratz, S. and Dunnigan, A.: Exploring Gestural Interaction in Smart Spaces Using Head Mounted
Devices with Ego-centric Sensing, Proceedings of the2Nd ACM Symposium on Spatial User Interaction, SUI’14, New York, NY, USA, ACM, pp. 40–49 (online), DOI:
10.1145/2659766.2659781 (2014).
Matsumaru, T. and Akai, K.: Functions of MobileRobot Step-On Interface, Journal of Robotics andMechatronics, Vol. 21, pp. 267–276 (online), DOI:
10.20965/jrm.2009.p0267 (2009).
Lee, J.: Human Centered Ubiquitous Display in Intelligent Space, IECON 2007 - 33rd Annual Conferenceof the IEEE Industrial Electronics Society, pp. 22–27(online), DOI: 10.1109/IECON.2007.4459955 (2007).

© 2020 Information Processing Society of Japan

516