情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

人と機械による協調型エコーロケーションの提案
渡邉 拓貴1,a)

角谷 美和2,b)

寺田 努3,c)

概要：エコーロケーションとは音を用いて周囲の状況を認識する技術であり，一部の視覚障害者は舌打ち音等の可聴音によりこれを実現できる．エコーロケーションにおいて超音波を用いると，より詳細な情報の取得等の利点があることが先行研究より報告されているが，通常の人間の能力では，超音波の発信/取得は困難である．本研究では，ウェアラブルコンピューティング環境であれば，デバイスにより超音波の発信と反射音の可聴化が可能であることに着目した．さらに，超音波可聴化のためにデバイス内で信号を処理するため，可聴化と同時に機械学習でも認識が可能である．従って本研究では，超音波を可聴化した音を用いた人による認識と，機械学習による認識を組み合わせた，協調型エコーロケーションを提案する．
具体的には，スピーカから超音波信号を発信し，反射音をマイクで検出する．人は，低周波に可聴化された反射波の音色で物体の違いを認識する．機械は，反射波から得られる音響特徴量により認識を行い，ユー
ザの指定した物体を認識した際に振動で物体の存在を通知する．提案手法により，ユーザは自身の耳で得られる情報と，機械により得られる情報を組み合わせた物体の探索が可能になる．協調型エコーロケー
ションの実現に向けて，本稿ではエコーロケーションにおける機械学習の有効性について調査した．プロ
トタイプを作製し評価を行った結果，機械学習による物体の認識精度は，6 種類の物体に対して平均 92.5%であった．また．機械学習の有無による物体の探索行動の変化を 10 人の被験者に対して評価した結果，機械学習により探索時間が平均 71.5 秒から 45.9 秒に減少した．さらに，機械学習を加えることで，エコー
ロケーション時の精神的負荷が有意に減少した．

1. はじめに

一方，音により周囲状況を把握する方法も考えられる．
イルカやコウモリ等の一部の動物は，自身が発する音波が視覚障害者の数は全世界で 22 億人と言われており，彼帰ってくるまでの時間を利用して，対象との距離を測定すらへの支援環境が必要である [1]．視覚障害者を支援するたるエコーロケーションを用いて周囲状況を把握している．

めの設備として，すでに街中には至る所に誘導ブロックや一部の視覚障害者は，自身で発信する可聴音によって，こ点字が配置されているが，これらの手がかりは触るまでそのエコーロケーションを実現可能である [2]．さらに，エの場所を知ることはできず，改善の余地があるといえる．

コーロケーションは視覚障害者の自立感を向上させること

近年の機器の発展により，小型化したコンピュータを常にが先行研究 [3] より報告されており，視覚障害者自身の聴持ち運んだり，身につけたりする環境が整ってきたことで，覚を用いた周囲状況認識には価値があるといえる．

IT 技術によって視覚障害者を支援するための取り組みがエコーロケーションでは，一般的に舌打ち音等の可聴音

盛んに研究されている．これらの支援技術の多くはカメラが用いられるが，先行研究 [4] より，エコーロケーションにで得られた画像を解析することで周囲の状況を把握するもおいて可聴音の代わりに超音波を発信しその反射波を可聴のであるが，カメラを用いた手法では夜間など暗い場所で化すれば，より詳細な物体情報の取得，環境音からの容易なの利用は難しいなど，環境光に大きく左右される問題があ

分離等の利点が報告されている．また，周囲の人へエコーる．また，物体までの距離を測定できるデプスセンサを用音が聞こえないことも利点だと考えられる．しかし，人従いる手法も考えられるが，屋外などの赤外線の外乱がある

来の能力では超音波を発信/取得することは困難である．

場合には利用するのが難しい．

本研究では，ウェアラブルコンピューティング環境を活用すれば，リアルタイムの超音波の発信/可聴化が可能であ

1
2
3
a)
b)
c)

北海道大学
日本学術振興会
神戸大学
hiroki.watanabe@ist.hokudai.ac.jp
miwa1804@gmail.com
tsutomu@eedept.kobe-u.ac.jp© 2022 Information Processing Society of Japan

ることに着目した．特に近年はイヤホン型のコンピュータ
であるヒアラブルデバイスを用いて外界音を操作する研究が行われており，音声提示デバイスの常時装着環境が整ってきているといえる [5]．また，超音波を可聴化する際に115

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

は，取得した信号が可聴化処理のためにデバイスを経由す発見できた．また，機械学習を加えることで，精神的負荷るため，機械学習を用いて物体を認識することも考えられの尺度を示す NASA Task Load Index (NASA-TLX) が有

る．先行研究では，コウモリの “音で見る” 感覚の理解と，意に減少した．さらに，評価結果に基づき，超音波エコー

人間への適用を目標としている [4], [6]．そのため，超音波

ロケーションにおける機械学習の設計指針を議論した．

反響音を可聴化し，人間に聞かせることで評価しており，機械による認識については考慮されていなかった．人によるエコーロケーションと，機械学習の認識を組み合わせることで，エコーロケーション使用時の人への負荷の低減や，エコーロケーションの学習支援への応用が考えられる．

2. 関連研究2.1 エコーロケーション
一部の視覚障害者は，自身の発するクリック音から周囲の状況を認識する，“音で見る” 技術を発達させている．可以上より，本研究では，超音波の可聴化音を用いた人に聴音を用いたエコーロケーションについては多く研究されよる認識と，機械で超音波信号を処理した機械による認識ている [2], [3], [7]．一方，コウモリのエコーロケーションにを組み合わせた，人と機械による協調型エコーロケーショ

着想を得て，超音波を用いたエコーロケーションを人間にンを提案する．本研究では，対象とするユーザはエコーロ

適用しようとする研究も複数行われている [4], [6], [8], [9]．

ケーションを利用可能な人，またはエコーロケーションを

Sohl-Dickstein らは，超音波を発信し，反射波をリアルタ

学習中の人と想定する．従って，ユーザが超音波エコーロ

イムに可聴化するシステムを提案した [8]．このシステムにケーションを行うために，超音波スピーカとマイクをすでより，物体の有無や物体との距離を超音波で認識できる．

に装着している環境を想定する．また，ユーザは探したい

Sumiya らは，超音波反響音を可聴化することによって，物物体をシステムに設定する．ユーザが身に付けた超音波ス

体のテクスチャまで弁別できることを示した [6]．被験者

ピーカからは超音波信号を発信し，物体から反射した音をは訓練することで，物体からの反響音のみで，その物体のマイクで取得する．人による認識のために，反射波の周波形状やテクスチャの種類の弁別が可能になる．

数を下げ，ユーザに聞き取れるように可聴化する．同時に，上記のようにエコーロケーションに関する研究は多く行

機械による認識のために，反射音から周波数スペクトル

われているが，エコーロケーションの分野では，人の “音を計算し，機械学習による認識を行う．機械学習の結果がで見る” 感覚の理解を目指しており，ウェアラブル環境でユーザの事前に指定した物と一致すれば，デバイスが音/振リアルタイムにシステムとして実現したものは少ない．文

動でユーザに物体の存在を提示する．ユーザはこれらの情

献 [8] では，リアルタイムの超音波エコーロケーションを

報を同時に受け取り，物体探索できる．提案手法では，従実現しているが，物体との距離や物体の有無の認識に着目

来の視覚障害者支援システムのように機械学習の結果に頼している．本研究では先行研究では着目されていない，物るだけでなく，可聴化した音によりユーザ自身の耳でも周体の種類の認識に着目する．さらに，超音波エコーロケー

囲のセンシングを行う点が特徴である．前述したように，

ションと機械学習を組み合わせることで，人と機械の協調

視覚障害者が自身の耳で環境を認識することには意義が型エコーロケーションシステムを実現する．

あり，視覚障害者の自立にとって重要だと考えられる [3]．
従って，ユーザの自立心を保ちながら，どのように機械が2.2 視覚障害者の支援システム

補助するべきか考慮することが重要である．さらに，本研

近年のデバイスの発展により，IT 技術を活用した視覚障究では超音波エコーロケーションを行う環境を想定するた害者支援システムが数多く研究されている．Brock らは，め，提案手法では機械学習のための追加のデバイスが必要

Microsoft Kinect を利用して物体を検出し，音によりそのない．

存在を提示するシステムを提案した [10]．物体の位置や物機械学習をエコーロケーションに組み込む手法は，我々体との距離によって，提示音の音量やピッチが変化するの知る限り本研究が初めてである．従って，本稿では協調ことで，ユーザは物体の位置を把握できる．Kayukawa ら型エコーロケーション実現の初歩として，エコーロケー

は，視覚障害者の歩行を支援するスーツケース型システム

ションにおける機械学習の有効性と，協調型エコーロケー

を提案した [11]．Virtual Paving は，振動と音声によって，ションにおける機械学習の設計指針を明らかにすることを

誘導ブロックが利用できない場所でユーザを誘導するシ目的とする．

ステムである [12]．日常品の買い出しは必要不可欠な活動

提案手法の有効性を確かめるためにプロトタイプを実装

であるが，視覚障害者にとっては困難であり，食料品店でし，6 種類の物体に対する認識精度を評価した結果，平均の買い物をサポートするシステムが提案されている [13]．

で 92.5%の精度であった．さらに，可聴化と機械学習を組

Acoussist は，車から発信される超音波を検知することによみ合わせたシステムを構築し，物体発見実験を行った．実り，視覚障害者の道路横断を支援するシステムである [14]．

験の結果，人による認識のみの場合，物体探索に平均 71.5

上記のように，多くの視覚障害者支援システムが研究さ秒かかっていたところ，機械学習を加えると平均 45.9 秒でれているが，これらはいずれも機械が主に判断を行ってい© 2022 Information Processing Society of Japan116

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

DeviceObjectConverting into
Audible Sound

Transmitted
SignalDetectingReflected Sound

Reflected
SignalNo Object

Doorknob

Blister

Output to Earphone

Decision by
User

Feature Extraction&
Presenting Result
Recognition

図 1: システム構成
るものである．本研究では，エコーロケーション（人によ図 2: 各物体に対応する周波数スペクトルる認識）と機械による認識を組み合わせる点で異なる．
クでは物体からの反射波を検出する．信号の発信/録音の2.3 音による物体認識手法

サンプリング周波数は 96kHz とした．本研究で用いた信号

音を用いた物体検出/認識の研究も多く行われている．

は 40kHz から 20kHz へと 1ms で下降するスイープ信号で

Komatsu らは，超音波の反射音の周波数特性から，対象物体ある．スイープ信号はコウモリが物体を識別する際に用いの特性を判別する検討をした [15]．ObstacleWatch は，音られる信号であり，先行研究でもスイープ信号が用いられ

響信号の反射を利用して障害物を検知する手法である [16]．

ている [6]．先行研究ではコウモリの感覚の人の理解という

Remaggi らは，音の反射波の周波数領域での減衰率から，観点のため 8k–40kHz の範囲の信号を利用していたが，本反射した対象の材質を推定する手法を提案した [17]．Mao

研究ではウェアラブルデバイスとしての利用を想定する．

らは，市販のスマートフォンを用いた，音波によるイメー

デバイス利用中に常に可聴音が発生するのはユーザにとっジング手法を提案した [18]．ユーザは仮想のセンサアレイても周囲の人にとっても不快となる可能性があるため，可を模して，あらかじめ設定された軌道に沿ってスマート

聴音の領域を含まないよう本研究では 20k–40kHz の周波

フォンを動かし，システムはその反射音を用いて対象物を数範囲を選択した．

再現する．

マイクで得られる信号には，スピーカからマイクへと直上記の研究では，機械によって物体を認識することに着接届く音波（直接波），対象物体から反射してマイクへと目しているが，本研究では可聴化した音を用いた人による入力される音波，周囲の物体に反射し，異なる経路を通る

認識と，機械による認識を組み合わせる点が異なる．

反射波（マルチパス）等も含まれる．したがって，対象物

3. 提案手法

体からの反射波のみを検出するために，マイクからの受信信号と発信信号との相互相関値を計算する．図 3 に壁から

図 1 に本研究のシステム構成を示す．本研究のシステム

50cm 離れた距離から信号を発信した時に得られた相互相

は，人間による認識のための処理と，機械による認識のた

関値の包絡線を示す．相互相関値は，受信信号に送信信号めの処理の 2 つの部分から構成されている．まず，スピーと同じ波形が得られた時に大きな値を示す．図 3 では，最カから超音波信号を送信し，物体からの反射音をマイクで初に直接波を表す大きなピークが確認され，その後にも複検出する．人間側の処理では周波数を落として可聴化し，数のピークが検出されている．予備的な検討より，本研究ユーザにイヤホンを通して可聴化した音を提示する．機械では直接波以降のピーク値のうち最も大きな相互相関値を側の処理では，得られた信号に対して機械学習による分類

対象からの反射波とし，その他のピークはマルチパスによを適用し，ユーザの設定した対象物が認識された際にユーる反射波とした．求めた 1 次反射波の位置から，128 サン

ザに通知する．本研究ではタブレットの振動で提示する．

プルを抽出する．送信波のサンプル数は 96（96,000 Hz ×

図 2 に各物体からの反射波から得られた周波数スペクト1 ms）であるが，余裕を持って 128 サンプルとした．

ルの一例を示す．この図に示すように，物体によって得られる周波数スペクトルに違いが確認できる．人間は音色で3.2 超音波の可聴化

この違いを，機械は特徴量により周波数スペクトルの違い

3.2.1 変換手法

を，それぞれ認識する．最終的に，ユーザは自身の耳から前節までに切り出した超音波反射音の周波数を下げるこ得られる音と，機械の認識結果である振動を組み合わせ，とで，人に知覚できる音に変換する．可聴化手法としては，物体の認識を行う．

先行研究でも用いられている，波形情報を崩さないタイム
ストレッチを選択した [6], [8]．具体的には，検出された反3.1 信号の発信と検出
スピーカからは超音波のスイープ信号が発信され，マイ© 2022 Information Processing Society of Japan

射波は通常の 1/m の速度でユーザに提示される．m は可聴化倍率である．これにより，信号は時間軸上で m 倍に拡117情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

25 cm
50 cm
75 cm
100 cm
125 cm150 cm175 cm200 cm

175000

Direct Wave

150000

Amplitude

125000Reflected wave from target

10000075000
50000

Multipath

25000
0
15

図 3: 相互相関値

20

25

30

35

Frequency [kHz]4045

図 4: 距離による周波数スペクトルの変化
直流成分を示す 1 次元目を除いた 19 次元を特徴として用大され，周波数は可聴範囲に下げられる．本研究では事前調査に基づき，可聴化音の聞き分け性能が高かった m = 20

いる．
さらにその他のスペクトルの特徴量として，周波数スペとした．

クトルの平均，分散，スペクトラル重心，ロールオフ，フ3.2.2 ミニチュアダミーヘッド

ラットネス，歪度，尖度，帯域幅，エントロピーの 9 個のダミーヘッドとは人間の頭部を模したものであり，これ特徴量を算出する．上記の特徴量をマイクの左/右チャネを用いて録音することで人の頭部伝達関数（HRTF: Head-

ルそれぞれに対して計算し，合計 56 個の特徴量を得る．

Related Transfer Function）を考慮した録音ができる．ミ

分類器としては，ウェアラブルデバイス上でも実装が容ニチュアダミーヘッド（MDH: Miniature Dummy Head）

易かつ高性能な必要がある．本研究では Support Vectorとはダミーヘッドを小さくしたものであり，スケールに応Machine (SVM) を選択した．

じた超音波の観測に対して用いられる．MDH を用いて録3.3.3 距離に応じた学習モデルの切り替え

音した超音波を可聴化すると，ユーザは可聴音によって得音圧は距離とともに減衰することが知られており，同じたエコー音と同じような感覚で超音波反射音を聞けること

物体でも距離によって得られる周波数特性が異なる可能性が報告されている [4]．本研究では，先行研究 [4], [6] で用がある．距離によって得られる周波数特性の変化の一例をいられたものと同様の 1/7 サイズの MDH を用いた．

図 4 に示す．この図に示すように，周波数スペクトルのおおよそのピーク/ノッチの位置はどの距離でも近傍の周3.3 機械学習

波数に存在してはいるが，距離によって少しずつずれてい3.3.1 前処理

ることが確認できる．また，ピークとノッチの凹凸も距離

3.1 節で抽出した波形の不連続性を解消するため，ハンが大きくなるに従って鈍っていることが確認できる．従っ

窓をかける．さらに，抽出した 128 サンプルのデータにゼて，同じ学習モデルで全ての距離のデータを認識すると認ロを加える（ゼロパディング）ことで，8,192 サンプルと識率の低下が懸念される．

し，高速フーリエ変換（FFT: Fast Fourier Transform）をそこで，本研究では算出された物体との距離に従って学適用することで周波数領域の情報を得る．ゼロパディング

習モデルを切り替えることにより認識精度の向上を行う．

により周波数分解能は約 11.7Hz（96,000 / 8,192）となり，物体との距離は以下の式から導出できる．

より詳細な特徴が得られると考えた．
図 2 に示すように，反射の違いは周波数スペクトルに現c(t1 − t0 )(1)
2
ただし，d は物体とデバイスとの距離，c は音速，t0 はスれる．従って，本研究では特徴量として，LFCC（Linear-

ピーカの送信時刻，t1 は反射波の取得時刻である．本研

Frequency Cepstral Coeﬃcients）を利用した．LFCC は，

究では 25cm から 200cm まで 25cm 間隔ごとにデータを取音声認識によく用いられる MFCC（Mel-Frequency Cep-

得し，8 つのモデルを構築した．算出された物体までの距

stral Coeﬃcients）の線形版である．MFCC では人の声の離から最も近いモデルを利用することで，認識率を向上さ

特徴を考慮し，周波数スペクトルに対して低周波ほど細かせる．

3.3.2 特徴量抽出と認識

いメルフィルタバンクを用いる．一方，LFCC では等間隔に設置されたフィルタバンクを用いる．本研究では人の声

d=

4. 実装

を対象としていないため，対象領域から等しく特徴を抽出

図 5 に示すように，提案手法のプロトタイプを実装できる LFCC が適していると考えた．LFCC のフィルタした．プロトタイプは，タブレット（Huawei MediaPad

バンク数は 20 とした．抽出した 20 次元の特徴量のうち，

M5），オーディオインタフェース（Zoom U-24），スピー© 2022 Information Processing Society of Japan118

情報処理学会 インタラクション 2022
IPSJ Interaction 2022aTabletHeadphone

INT22013
2022/2/21b

Microphone

a

b

c

d

e

f

MDH
Elastomer
Resin

Speaker
Audio Interface

Microcontroller
Battery

図 5: 実装したデバイス: (a) 全体図，(b) 把持部分
カ（Fostex FT200D），マイク（Countryman B6），ヘッド

図 6: 評価した物体: (a) 物体なし，(b) 点字，(c) ドアハンドル，(d) ドアノブ，(e) 線状ブロック，(f) 点状ブロック

フォン （Bose QC35）から構成されている．Bose QC35にはノイズキャンセリング機能が備わっているが，本研究Whiteboard

では用いていない．スピーカからマイクへの直接音を抑え

Objectるために，スピーカとマイクの間にエラストマー樹脂を挟

d cm

んだ．スピーカの周波数特性は 1k–50kHz であり，超音波信号を発信するのに十分な性能である．マイクの周波数特性は 30–20kHz*1 であるが，先行研究 [6] においてもこのマイクが使用されていること，及び予備実験から超音波領域の音も取得可能であることが確認できたため，このマイク

Device

85 cm

Stand

図 7: 実験環境 (側面図)を使用した．MDH は 3D プリンタにより作製した．MDHの 3D モデルは先行研究 [4], [6] で用いられたものと同様でることができない．また，日常生活において，ドアの開閉あり，一般的に用いられるダミーヘッドの 1/7 のサイズとに用いられるドアハンドルやドアノブの操作は欠かせななっている．2 つのマイクは MDH の両耳の鼓膜に当たる

いが，これらがどこに存在しているかも触れるまで知るこ位置にそれぞれ設置されている．MDH のサイズは，高さとができない．手探りでこれらの物体を探索することも可

6.5cm，幅 5.2cm，奥行き 2.5cm である．人体に近い柔らか能ではあるが，衛生面や社会的受容性の面からも，不用意さを実現するために，素材にはシリコンゴム素材（ショアに未知の物体に触れるのは望ましくない．従って，非接触

硬度：35）を用いた．ヘッドフォンとマイクはオーディオ

でこれらを識別できれば有用だといえる．以上を考慮し，インタフェースを介してタブレットと接続される．スピー

図 6 に示す，物体なし，点字，ドアハンドル，ドアノブ，

カにはマイコン（Sony Spresense）が接続されており，SD

線状ブロック，点状ブロックの合計 6 種類を認識すべき物

カードに保存した音源を再生する．Spresense は 96kHz 以

体として設定した．ドアハンドルとドアノブは 3D プリン

上の再生にも対応しており，超音波信号を発信することがタ（UP Plus 2）により作製した．各物体の高さは，点字可能である．また，アンプも内蔵されているため，スピーが約 0.3mm，ドアハンドルが約 4cm，ドアノブが約 5cm，

カから十分な音圧の信号を発信することが可能である．

線状/点状ブロックが約 3mm である．

また，3 章に示す手法を実現するために，Android アプ

実験環境を図 7 に示す．図 7 に示すホワイトボードにリケーションを実装した．なお，本稿では各種設定（可聴順番に物体を貼り付け，実装したプロトタイプデバイス

化の有無，機械学習の有無，可聴化倍率の変更等）を固定

により超音波信号を発信し，反響音を取得する．デバイ

したが，アプリケーションではこれらの設定の変更が可能

スとホワイトボードとの距離 d は 25，50，75，100，125，であり，ユーザは自分好みに変更することが可能である．

150，175，200cm の 8 種類とし，それぞれの距離において機械学習には 3.3.2 節に示すように SVM を利用した．

30 回の測定を行なった．これを 1 セットとする．物体と5. 評価
5.1 機械学習による物体認識
本研究で認識すべき対象物体として，触れる前にわかれば便利と考えられる物体を選定した．点字ブロックや点字デバイスを設置しなおして，もう 1 セット測定した．結果
として，2,880 個の測定データ（6 物体 ×8 距離 ×30 測定

×2 セット）を得た．取得したデータに対して 3.3.2 節に示す手法で特徴量を抽出し，認識精度を算出する．評価にはleave-one-set-out cross-validation を利用した．

は，視覚障害者への情報提示として広く用いられているが，表 1 に各距離での認識率を示す．距離による学習モデ

これら自体がどこに存在するかは実際に触れてみるまで知ル切り替え無しの場合，25cm の際の学習モデルを用いて*1

https://countryman.com/product/b6-omnidirectional-lavalier/© 2022 Information Processing Society of Japan

他の距離のデータを評価した．この表が示すように，モ
デル切替ありの場合，100cm を除く全ての距離で 90%以

119

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

100 cm

表 1: 各距離での認識精度 [%]距離 [cm]

25

50

75

Wall

100 125 150 175 200 平均

切替無し 97.5 49.4 23.1 25.0 25.0 21.4 16.7 24.4 24.4
切替あり 97.5 91.7 92.2 76.4 90.8 100

b 1.2 88.5 0.0 0.0 10.2 0.0
c 0.0 0.0 100.0 0.0 0.0 0.0

180 cma 86.7 12.5 0.0 0.0 0.0 0.8

True Label

Device100 91.7 92.5
2

3

4

5

6

7

8

9 10 cm

25 cm

Doorknob

90 cm

75 cm

d 0.2 0.0 0.4 99.4 0.0 0.0
e 7.1 6.2 0.2 0.0 80.6 5.8

1

Front View

Side View

図 9: 実験環境: (左) 正面図，(右) 側面図

f 0.0 0.0 0.0 0.0 0.0 100.0
a

b

c
d
e
Predicted Labelf

物体として選択した．図 9 に示す，ドアを想定した 100cm

図 8: 混同行列 [%]: (a): 物体なし，(b) 点字，(c) ドアハン

× 180cm の領域のうち，高さ 90–110cm の範囲の 9 箇所のドル，(d) ドアノブ，(e) 線状ブロック，(f) 点状ブロック

いずれか一つにドアノブを設置する．この範囲は，ドアノブが存在すると考えられる高さを考慮して決定した．ドア

上の認識精度が得られ，平均で 92.5%の精度であった．一ノブは前節で用いたものと同様であり，機械学習には前節方，学習モデル切替無しの場合，学習モデルに用いた距離で取得したデータで，検出距離ごとに学習モデルが切り替（25cm）とテストデータとの距離が離れるに従って，認識わるものを利用した．

精度の低下が確認できた．モデル切替ありの場合でも，距5.2.1 信号発信間隔

離が 100cm の際の認識精度は 75.6%となり，他の距離と比先行研究 [7] では，エコーロケーション習熟者の信号発較すると低くなった．これは，マルチパスの影響だと考え

信間隔が約 600ms であることが報告されているが，超音波られる．つまり，デバイス周囲 100cm の距離の別の物体か

エコーロケーションにとってもその間隔が最適であるかはらの反射波が，対象物体からの反射波に重なり，対象物体

明らかでない．人によるエコーロケーションでは舌打ち音から得られる反射波本来の周波数特性とは異なったためだを用いるため信号発信の間隔に限界があるが，システムでと考えられる．図 8 に，学習モデル切替ありの場合の，全あれば人よりも短い間隔での信号発信も可能である．従っ距離での結果をまとめた混同行列を示す．この図に示すよて，本節では超音波エコーロケーションの探索において適

うに，線状ブロックを除き，全ての物体で認識精度は 86%

した信号発信間隔を調査した．

以上であった．また，物体なしは点字と，線状ブロックは

本実験ではドアノブの位置を特定するタスクを想定し，物体なし，点字，点状ブロックと混同しやすいことが確認

壁に貼り付けたドアノブを，デバイスを用いて被験者に探できた．一方，ドアハンドルとドアノブの認識精度は 99%

索してもらう．被験者は 20 代の健常者の男性 10 名であ以上であった．これは，物体の高さによるものと考えられ

り，全員エコーロケーションの初心者であった．被験者はる．本研究で用いたドアハンドルとドアノブはそれぞれ約図 9 に示す環境で，図 5 に示すデバイスのスピーカ部を手4cm，5cm となっており，他の物体と比較すると大きい．

に持って，壁に向かって平行にスキャンするようにデバイ物体の高さよって周波数スペクトルに現れるノッチの深さ

スを動かして物体の検出を行う．まず，被験者にはデバイが大きくなることが先行研究からも報告されており，このスを用いて物体を検出する練習を，目を開けた状態で 5–10

特徴的な周波数スペクトルによって他の物体よりも識別が分程度行ってもらう．被験者と壁との距離は約 75cm とし可能であったと考えられる [6]．

た．被験者自身が習熟したと感じた段階で練習を終了し，以上の結果より，反射音によって物体を識別すること及

図 9 に示す領域のうち，ランダムな箇所にドアノブを設置

び，物体との距離によって学習モデルを切り替える手法はして，被験者は目を閉じた状態でこれを探索する．被験者

有効だと考えられる．

はドアノブを発見したと思ったら実験者に報告する．実験者がドアノブの位置と，デバイスを壁に投影した位置とを

5.2 人と機械による認識を組み合わせた物体発見
本節では，超音波エコーロケーションに機械学習を組み合わせた際の影響や効果の調査を目的とする．実験環境を
図 9 に示す．本実験では，部屋へ入る/部屋から出る場面を想定し，前節で用いた物体のうち，ドアノブを探索対象の© 2022 Information Processing Society of Japan

確認し，約 5cm 以内であれば正解として実験を終了する．
それ以外の場合は正解できるまで実験を続けた．
被験者はこの試行を，以下の 3 つの信号発信間隔について行った．

• 600ms: 先行研究で報告されているエコーロケーショ

120

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

表 3: 各被験者の誤答数と (強制終了数)

表 2: 被験者が選択した信号発信間隔 [ms]
被験者
音

A

B

C

D

E

200 200 600 200 400

音+振動 200 200 200 200FH

200 400 200

200/ 200/
400

G

400

400 200

I
200/
400
200/
400

J
200

被験者

A

B

C

D

E

F

G

H

I

音

0

0

1

0

0

0

5 (1)

0

0

0

音 + 振動

0

0

0

0

0

0

5

1

0

0 (1)

J

200

被験者は前節と同じである．つまり，被験者は提案手法の
利用方法の練習が済んだ状態である．被験者にはドアノブ

ン習熟者の信号発信間隔 [7]を，目隠しした状態でデバイスを用いて発見してもらった．

• 400ms: 600ms と 200ms の中間

前節同様に，音条件と音+振動条件の 2 通りを比較した．

• 200ms: 本研究の実装で実現可能な最短の信号発信間隔

なお，本研究は超音波エコーロケーションが行われている

カウンターバランスを取るために，被験者ごとに試行するという環境を想定するため，音条件がベースラインとな

信号発信間隔の順番が異なるようにした．被験者は上記のる．音条件と音+振動条件の実験の順番は被験者全体でカ操作を，まず可聴化した音のみ（音条件）で行い，次に可ウンターバランスが取れるように設定した．被験者は各手聴化した音と機械学習結果の振動（音+振動条件）を用い法において 3 回ずつ実験を行った．ドアノブの設置位置にて行った．なお，本研究のシステムは超音波エコーロケー

よる影響が少なくなるように，3 回の設置位置は図 9 の縦ションを前提としているため，超音波エコーロケーションの 3 つのライン（左，中，右）及び横の 3 つのライン（上，自体に慣れてもらうために，全被験者に対してまずは音条中，下）の全てを含むように設定した．例えば，被験者 A

件で試行し，その後に音+振動条件で実験を行った．各手の実験でのドアノブ設置位置は，音条件の場合 1, 5, 9 で，法の試行後に，どの信号発信間隔が適切と感じたか，被験音+振動条件の場合，2, 4, 9 のような配置となる．実験の者に回答してもらった．

スタート位置は，毎回領域の中心（図 9 中の 5）からとし

表 2 に，各被験者が選択した信号発信間隔を示す．なた．以上より，合計で 60 個（3 試行 × 2 手法 × 10 被験

お，200/400 は 200ms も 400ms も同じように感じたこと者）の測定データを得た．本研究では，機械学習の有無でを意味する．音条件の場合，最も選択された信号発信間隔

被験者の探索行動が変化するかどうかを調査するため，デは 200ms であり，10 人中 7 人が選択した．この理由としバイス下部（スピーカの中心から 5cm 下）にレーザーポイて，“短い信号発信間隔によって，物体をスキャンするス

ンタを設置し，録画映像から画像処理によって壁に投影さピードが上がった” というコメントが得られた．一方，被れたレーザーポインタの軌跡を取得し，探索行動の軌跡と験者 A と D は 200ms を選択したが，“短すぎる信号発信した．被験者は対象の物体を発見したと判断したらその旨

間隔は不快だった” とコメントした．200ms 以外を選択しを実験者に対して述べる．実験者は回答時点のデバイスをた被験者 C，E，G からは，“信号発信間隔が短すぎると，壁に投影した位置と，ドアノブの位置とが約 5cm 以内に存

音を聞き分けるのが難しかった” という意見が得られた．

在すれば正解と判断し，実験を終了する．デバイスの投影

音+振動の場合においても，最も選択された信号発信間

位置と物体が 5cm 以上離れている場合誤答数としてカウ隔は 200ms であり，10 人中 9 人が選択した．音のみの場

ントし，被験者は実験を続行する．300 秒以上正答できな合よりも多くの被験者が 200ms を好んでおり，この理由とかった場合，実験を強制的に終了した．音条件，音+振動

して，“音と振動が短い間隔で提示されることで，デバイ条件の各実験後に，被験者には NASA-TLX に回答してもスを少しずつ動かしてもドアノブを見つけやすくなった”

らう．また両手法の終了時には自由記述のアンケートにもというコメントが得られた．

回答してもらった．

以上より，実験環境統制のため，以降の評価では信号発

5.2.2.1 誤答数

信間隔を 200ms に設定した．なお，実利用の際には，本シ

表 3 に各被験者の誤答数を示す．この表に示す通り，被ステムは信号発信間隔の変更が可能であり，ユーザごとに験者 G をのぞいて機械学習の有無に関わらず誤答数は少好みの信号発信間隔を設定することが可能である．また，なかった．これは，被験者が確信が得られるまで時間をか

被験者から得られた意見にもあるように，信号発信間隔がけて探索を行ったためだと考えられる．一方，被験者 G は短いと得られる情報が増える一方，ユーザにとって不快“物体がない場所でも音の変化を感じた” と述べており，誤となることが報告された．この点については 6.2 節で議論答数が多くなった．

する．

5.2.2.2 物体発見に要した時間

5.2.2 物体検出

図 10 に機械学習の有無による物体発見までの時間を示

前節で求めた信号発信間隔（200ms）を用いて，人によるす．この図に示すように，機械学習によって物体発見まで

認識と，人と機械による認識を組み合わせた場合のユーザの平均時間は 71.5 秒から 45.9 秒へと減少した．しかし，の行動を評価した．本節の実験環境は図 9 と同様であり，検出時間について t 検定を行った結果，機械学習の有無で© 2022 Information Processing Society of Japan121

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21(a) Audio

250(b) Audio + Vibration

Time [s]

200
150
100

図 12: 探索軌跡: (a) 音条件，(b) 音+振動条件

50
0
Audio

Method試行の軌跡を図 12 に示す．なお，図中の点線の円はドア

Audio+Vib.

ノブの位置を示す．音条件の場合は，物体の箇所を通り過ぎて一度全体をスキャンした後に，被験者が怪しく感じた

図 10: 物体発見に要した時間

箇所に戻ってきている．その後左右に往復して他の箇所との違いを確かめた後に物体の位置を特定していることがわ
Audio

100

Audio + Vib.

かる．一方，音+振動条件の場合，全体をスキャンする前に被験者が気になった部分で止まり，かつ機械からの振動

Rating80があれば確信を得て物体の位置を特定しており，デバイスの移動距離及び探索時間を削減できていた．以上より，機60

械学習を組み合わせることで物体発見までの探索距離と時40間を削減できていることが確認できる．
20

6. 考察

0
MD

PD

TD

OP

EF

FR

図 11: NASA-TLX の比較

6.1 機械学習の有効性
実験結果に示すように，機械学習による反射波を用いた物体の認識は可能であることがわかった．また，統計的な有意な差は確認できなかった (t (27) = 1.92, p = .065)．

有意差は確認されなかったが，機械学習により物体発見ま5.2.2.3 NASA-TLX

での平均時間が減少した．さらに，NASA-TLX の結果よNASA-TLX の評価には，6 つの下位尺度の単純平均値

り，音条件と比較して，音+振動条件では精神的負荷が有である Raw TLX (RTLX) を用いた [19]．得られた RTLX

意に低いことが確認できた．これは，図 12 に示すように，は，音条件と音+振動条件でそれぞれ 50.6 と 35.6 であっ音のみでは確信が得られなかった場合に，機械による認識

た．各手法の得点について t 検定を行った結果，両手法の振動があることで，確信を持って物体の検出を行えたこ

間の平均の差は有意であり (t (9) = 2.93, p < .05)，音条とに起因する．つまり，機械が人間の判断の補助をしてい件の平均が音+振動条件よりも有意に大きかった．図 11

ると考えられる．

に，機械学習の有無による NASA-TLX の各尺度の変化を被験者からのアンケートでは，10 人中 9 人の被験者が，示す．値が低いほど精神的負荷が少ないことを示す．平均

機械学習ありの方が無しよりも良かったと回答していた．

値で比較すると，機械学習を加えることで全ての指標にお機械学習ありの方が良いと回答した被験者からは，“音だいて精神的負荷が低減していることが確認できた．特に，

けでは確信を持てない場合に，機械による振動があること

身体的要求（MD: Mental Demand），努力（EF: Eﬀort），

で物体があることの確信を持てた” という回答が得られた．

不満（FR: Frustration）が 6 つの尺度の中では大きく減

一方，機械無しの方が良いと回答した被験者 A は，“機械の少しており，MD は 43.3%，EF は 36.6%，FR は 30.7%減振動があるとかえって注意が散漫になった” と回答してい少した．一方，身体的要求（PD: Physical Demand），時

る．これは，機械の認識結果による振動に集中するあまり，間切迫感（TP: Time Pressure），作業達成度（OP: Own

耳から聞こえてくる音の変化に集中することが難しかった

Performance）は上記の 3 指標と比較すると減少幅が少なためだと考えられる．この解決方法として，音による探索

く，PD は 20.2%，TP は 16.8%，OP は 19.2%の減少にとをメインに，振動はオプションとして設定しておき，ユー

どまった．注目すべき点として，OP は機械の有無に関わザが欲している時だけ機械による探索を有効にするというらず低い値を示していた．つまり，音のみでも被験者に対策が考えられる．また，音提示の有無も切り替えられる

とって達成感は高かったといえる．

必要がある．視覚障害者にとってエコー音以外の音の情報

5.2.2.4 物体探索行動も重要なため，ユーザが欲したときにだけ可聴化音を提示

デバイスの移動軌跡の一例として，被験者 C の 3 回目の© 2022 Information Processing Society of Japanし，それ以外は可聴化しない方が良いといえる．

122

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

本研究では，機械の有無による変化を観測するためにシう状態が望ましいと考える．また，本研究では機械の毎回

ステムの設定を統一したが，提案システムは様々なパラの認識結果をそのまま用いていたが，直近数回の認識結果

メータ（信号発信間隔，機械学習の有無，可聴化の有無，を用いて多数決をとった上でユーザに認識結果を提示する

可聴化倍率）を被験者ごとに好みの設定に変更することがという方法も考えられる．

可能であり，個人ごとの特性にあった設定にすることで，さらに，本研究では，機械学習の結果提示のための振動

これらの問題は解決できると考える．以上より，超音波エは 100ms の一定強度の振動にしていたが，被験者 B から

コーロケーションに機械学習を導入することには効果があ

は “振動にもパターンがあれば良い” という意見が得られると考える．

た．従って，機械学習の認識結果の信頼度によって振動にパターンを与えることも効果的だと考えられる．例えば，

6.2 人と機械の認識の組み合わせ
5.2.1 節に示すように，被験者からのコメントとして，

機械学習の信頼度が高い時には強く長い振動で，信頼度が低い時には弱い振動などの使い分けが考えられる．

“200ms の間隔で常に可聴音が発生していると不快だった”という意見がある一方で，機械学習については多くの被験

6.4 協調型エコーロケーション実現に向けて者が 200ms 間隔を好んだ．これらの意見から，可聴化と機我々の知る限り，エコーロケーションに機械学習を導入

械でユーザに提示する間隔をそれぞれに最適なものにする

した手法は本研究が初めてのため，本稿では，まず協調型

ことが良いと考えられる．つまり，信号自体は 200ms 間隔

エコーロケーションへの第一歩として，エコーロケーショで発信するが，可聴化は 200–600ms 程度の各ユーザの好みンにおける機械学習の有効性と，エコーロケーションにおの間隔で，機械は 200ms 間隔で認識を行い，ユーザに提示

ける機械学習の設計指針を明らかにすることに着目した．

することが考えられる．ユーザが音への違和感を感じ，よ協調型エコーロケーション実現のためには，実環境を想定

り短い間隔で可聴音が欲しい場合には，可聴音の提示間隔

したさらなる調査が必要である．例えば，視覚障害の方にも動的に短く変更するなどの対応が考えられる．

提案システムを使ってもらう，長期間利用による影響，よ図 11 に示すように，NASA-TLX の値において，OP はり広い/混雑した実環境に近い環境での利用等が考えられ機械の有無に関わらず低い値（高い達成感）の被験者が多る．本稿での結果は，今後の研究の方向性を示すものと考かった．被験者 E からは，“音のみの方が自力でやったとえる．

いう思いが強く，達成感がある” というコメントが得られた．さらに，先行研究からもエコーロケーションは視覚障

6.5 発信信号の動的な変更

害者の自立感を高めることが報告されている [3]．また，被本研究では，信号の種類と周波数，信号発信間隔を固定し験者 J の実験では，音条件と音+振動条件で同じ箇所の物て実験を行ったが，超音波エコーロケーションを用いるコ体探索があったが，音条件の場合は 69s，音+振動条件のウモリは，対象との距離や反響音から得られる情報によっ場合は 300s（強制終了）と，機械学習を加えた際に大幅て，発信する信号の種類や間隔を動的に変化し，得たい情

な時間ロスが見られており，元々音だけで発見できていた報に最適な信号を選択しているといわれている [20]．このものが，機械を加えることで逆に発見が遅くなった．これ

ようなコウモリの生態を参考に，提案手法でも反響音からに対して，被験者 J は “機械ありの場合，途中でいつの間得られた情報によって送信する信号を動的に変化させ，人/にか機械だけに頼る認識になっており，音を利用しておら機械にとってより精度の高い認識が実現できる可能性があず，余計に時間がかかった” とコメントしている．以上よる．発信信号の動的な変更についての調査は今後の課題とり，エコーロケーションにおいて音を用いることは重要でしたい．

あり，機械だけの判断に頼るのではなく，人による認識も組み合わせることが提案手法において重要だと考える．

6.6 物体検出に要する時間
本研究の方法では，機械学習を用いても物体の発見まで

6.3 機械学習の戦略に平均 45.9 秒の時間を要しており，実環境で用いるには

被験者 I，J からは，“物体がない場所で機械の誤認識（振時間がかかりすぎだといえる．この原因として，被験者が動）があり，その付近を探索して時間がかかってしまった”

エコーロケーションの初心者であったため，必要以上の時という意見が得られた．実環境での利用を想定すると，誤間を要した可能性がある．エコーロケーションの習熟者で認識はさらに発生すると想定され，機械学習が人の判断をあれば，可聴化のみの場合でも物体発見までの時間を短縮

混乱させる可能性が考えられる．従って，本システムにおでき，さらに機械学習を加えることで探索時間や精神的負ける機械学習の戦略としては，適合率を重視すべきと考え荷も低減可能であると考えられる．しかし，エコーロケー

る．つまり，物体の検出を多少ミスしても，機械が探索対ションを実行可能な視覚障害者は多くないため，被験者象の物体だと判断した時には，その確率は非常に高いといとするのは困難であった．提案システムは，エコーロケー© 2022 Information Processing Society of Japan123

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

INT22013
2022/2/21

ションの練習にも利用可能と考えられる．従って，提案システムが，今後エコーロケーション初心者のエコーロケー[8]

ションへの挑戦を促すことを期待する．エコーロケーショ
ンの訓練も含めた長期間の実験は今後の課題である．

7. おわりに[9]

本研究では，物体へ超音波を発信し，反射波をリアルタ
イムに可聴化する超音波エコーロケーションと，機械学習[10]により物体を認識する手法を組み合わせた，人と機械の協
調型エコーロケーションを提案した．プロトタイプデバイ
スを実装し，評価を行った結果，機械学習による物体の認
識は，6 物体に対して平均 92.5%の認識精度であった．ま[11]

た，物体の探索を対象として，可聴化のみによるエコーロ
ケーションと可聴化と機械を組み合わせたエコーロケー
ションを比較した結果，物体発見までの時間は平均 71.5 秒
から 45.9 秒へと減少した．また，機械学習により精神的[12]

負荷が有意に減少することが確認できた．実験結果より，
エコーロケーションにおける機械学習の有効性と設計指針を議論した．本稿で得られた知見が今後の協調型エコーロ[13]

ケーションの研究の方向性を示すと考える．
謝辞

本研究は JSPS 科研費 21K11973，JST さきがけ

（JPMJPR2138），JST CREST（JPMJCR18A3）の助成を受けたものである．

[14]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

World Health Organization: World Report on Vision(2019). https://www.who.int/publications/i/item/
9789241516570.
Thaler, L., De Vos, H., Kish, D., Antoniou, M., Baker,
C. and Hornikx, M.: Human Click-based Echolocationof Distance: Superﬁne Acuity and Dynamic Clicking Behaviour, Journal of the Association for Research in Otolaryngology, Vol. 20, No. 5, pp. 499–510 (2019).
Norman, L. J., Dodsworth, C., Foresteire, D. and Thaler,L.: Human Click-based Echolocation: Eﬀects of Blindness and Age, and Real-Life Implications in a 10-week
Training Program, PLOS ONE, Vol. 16, No. 6, pp. 1–34
(2021).
Uchibori, S., Sarumaru, Y., Ashihara, K., Ohta, T. andHiryu, S.: Experimental Evaluation of Binaural Recording System using a Miniature Dummy Head, Acoustical Science and Technology, Vol. 36, No. 1, pp. 42–45(2015).
Watanabe, H. and Terada, T.: Manipulatable Auditory Perception in Wearable Computing, Proc. of theAugmented Humans International Conference, AHs ’20,
No. 10, pp. 1–12 (2020).
Sumiya, M., Ashihara, K., Yoshino, K., Gogami, M., Nagatani, Y., Kobayasi, K. I., Watanabe, Y. and Hiryu, S.:
Bat-Inspired Signal Design for Target Discrimination in
Human Echolocation, The Journal of the Acoustical Society of America, Vol. 145, No. 4, pp. 2221–2236 (2019).
Thaler, L., Vos, R. D., Kish, D., Antoniou, M., Baker,
C. J. and Hornikx, M.: Human Echolocators Adjust
Loudness and Number of Clicks for Detection of Reﬂectors at Various Azimuth Angles, Proc. of the Royal So-© 2022 Information Processing Society of Japan

[15]

[16]

[17]

[18]

[19]

[20]

ciety B, Vol. 285 (2018).
Sohl-Dickstein, J., Teng, S., Gaub, B. M., Rodgers,
C. C., Li, C., DeWeese, M. R. and Harper, N. S.: A Device for Human Ultrasonic Echolocation, IEEE Transactions on Biomedical Engineering, Vol. 62, No. 6, pp.
1526–1534 (2015).
Sarumaru, Y., Sumiya, M., Banda, T., Ashihara, K.,
Kobayashi, K. and Hiryu, S.: Human Echo Perception byusing Miniature Dummy Head, Auditory Research Meeting, The Acoustical Society of Japan, pp. 57–62 (2015).
Brock, M. and Kristensson, P. O.: Supporting Blind
Navigation Using Depth Sensing and Soniﬁcation, Proc.
of the 2013 ACM Conference on Pervasive and Ubiquitous Computing Adjunct Publication, UbiComp ’13 Adjunct, pp. 255–258 (2013).
Kayukawa, S., Ishihara, T., Takagi, H., Morishima, S.
and Asakawa, C.: Guiding Blind Pedestrians in Public
Spaces by Understanding Walking Behavior of Nearby
Pedestrians, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 4, No. 3 (2020).
Xu, S., Yang, C., Ge, W., Yu, C. and Shi, Y.: Virtual
Paving: Rendering a Smooth Path for People with Visual Impairment through Vibrotactile and Audio Feedback, Proc. ACM Interact. Mob. Wearable UbiquitousTechnol., Vol. 4, No. 3 (2020).
Boldu, R., Matthies, D. J., Zhang, H. and Nanayakkara,
S.: AiSee: An Assistive Wearable Device to Support Visually Impaired Grocery Shoppers, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 4, No. 4(2020).
Jin, W., Xiao, M., Zhu, H., Deb, S., Kan, C. and Li,
M.: Acoussist: An Acoustic Assisting Tool for People
with Visual Impairments to Cross Uncontrolled Streets,
Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., Vol. 4, No. 4 (2020).
Komatsu, T. and Akita, J.-i.: Power Spectrum Analysis of Reﬂected Waves with Ultrasonic Sensors Indicates“What the Target Is”, Proc. of the 13th ACM Conference on Embedded Networked Sensor Systems, SenSys’15, p. 387–388 (2015).
Wang, Z., Tan, S., Zhang, L. and Yang, J.: ObstacleWatch: Acoustic-based Obstacle Collision Detection
for Pedestrian Using Smartphone, Proc. ACM Interact.
Mob. Wearable Ubiquitous Technol., Vol. 2, No. 4, pp.
194:1–194:22 (2018).
Remaggi, L., Kim, H., Jackson, P. J. B. and Hilton, A.:
An Audio-Visual Method for Room Boundary Estimation and Material Recognition, Proc. of the 2018 Workshop on Audio-Visual Scene Understanding for Immersive Multimedia, AVSU ’18, pp. 3–9 (2018).
Mao, W., Wang, M. and Qiu, L.: AIM: Acoustic Imaging on a Mobile, Proc. of the 16th Annual International
Conference on Mobile Systems, Applications, and Services, MobiSys ’18, p. 468–481 (2018).
Hart, S. G.: Nasa-Task Load Index (NASA-TLX); 20
Years Later, Proc. of the Human Factors and Ergonomics Society Annual Meeting, Vol. 50, pp. 904 –
908 (2006).
Fujioka, E., Mantani, S., Hiryu, S., Riquimaroux, H.
and Watanabe, Y.: Echolocation and Flight Strategy
of Japanese House Bats during Natural Foraging, Revealed by a Microphone Array System, The Journal of
the Acoustical Society of America, Vol. 129, No. 2, pp.
1081–1088 (2011).

124