A learning support platform based on real- world sensing in museums 2207006研究代表者村　上　弘　晃東京大学大学院工学系研究科  特任研究員(助成受領時：北海道大学　情報科学研究科　博士課程) [研究の目的]近年，青少年の知離れが指摘され，文部科学省では科学的素養を育成する観点から博物館の活用を提唱している。一方，従来の博物館では展示物への年齢に合わせた解説がなく，青少年の長期的な素養育成は難しい。また,ユーザに合わせたコンテンツ提供がないため,どこを見るべきかわからないといった声が上がっている。科学的素養の効果的な育成には，様々な年齢層ユーザの学習段階や興味分野を考慮した展示物への推薦やナビが不可欠で，展示物での滞在時間や見学頼度を考慮した行動分析による興味分野推定が必要となる。我々は自由なコンテンツ提供が可能なモバイル端末に着目し，位置情報を活用した学習支援プラットフォームの基盤構築を目指す。隣り合う展示物を判別する必要があり，より高精度な測位が望まれる。2)また,より多くの博物館での運用を目指すには導入の障壁が少なく，低コストであることが望ましい。既存の設備として照明やWi-Fiでの測位が考えられるが目標の測位精度の達成は難しい。そこで，本研究では，高精度として知られる音響測位を用い,インフラとして普及するスピーカの活用を試みる。スピーカからは変調された音響信号を送信する。また,モバイル端末には広く普及しているスマートフォンを利用する。これらの研究目標を達成するため，本期間において下記の3つの技術的課題に取り組んだ。研究I ：単一スピーカでのスマートフォン5自由度推定研究II ：単一スピーカとスマートフォン間の時刻同期研究Ⅲ：見通し外環境でのスマートフォン間測延
[研究の内容,成果]
ユーザの正確な移動経路を用いた行動分析による精密な興味分野推定を達成するため,高精度かつ低コストで運用可能な測位システムの特築を本期間におけるサプゴールとする。ゆえに，研究目標は，1）測位誤差20 cm以内で，2）追加の設備を必要とせず，既存の設備のみで測位が可能なシステムの構築である。 1）興味分野推定のための行動分析を考えると.研究I ：単一スピーカでのスマートフォン５自由度推定■背景スマートフォンを用いた音響測位では,スピーカとスマートフォン間の時刻同期が難しく,スピーカとスマートフォン間における音響信号の伝搬時間を利用するtime-of-arrival  (ToA)方式での測位ができない。そのため，音響信号の到来時間差を利用するtime-difference-of- arrival (TDoA)方式での測位が一般的で, 3次元測位に最低でも4台のスピーカを必要とする。日本では消防法により屋内施設でのスピーカ設置義務があるが，その法律上任意の地点におけるユーザが利用可能なスピーカ数は１台もしくは２台である。本研究の目標から，測位に必要なスピーカ数の不足分を追加で設置することは望ましくない。そこで，１台のスピーカで利用可能な新たな測位手法を開発した。研究Iでは、スピーカの配置に幾何学的な制限の強い廊下を対象とし，測位手法を提案し，実験が評価された。
■方法
廊下では,壁や床,障害物等からの多数の反射波が生じる。位置認識の分野では,この反射波をマルチパスと呼び，測位誤差の要因となることが知られている。本研究では，壁や床からの1次反射波をあえて積極的に利用し、壁や床に対する仮想的なスピーカから送信された信号と捉える「鏡像スピーカ」の概念を提案する(図1)。これにより, １台の設置スピーカを,両壁と床の鏡像スピーカを含む計4台のスピーカとして仮想的に増幅する。位置推定に必要な鏡像スピーカの座標は屋内施設のフロアプランから算出することができる。提案手法では，スマートフォンに搭載された2つのマイクロフォンを用いる。スマートフォンを横向きにもち, ２つのマイクロフォンを右と左のマイクロフォンとして割り当てることで,スマートフォンの３次元座標,ヨー角(方位角)，ピッチ角を含む5自由度を推定する。 ■成果本研究では,幅2 mの廊下の12箇所にて,スマートフォンの高さ,ヨー角,ピッチ角の３つのパラメータを変化し，評価実験を行った。複数の評価実験を通して,  90パーセンタイルでの3次元測位誤差が114.35 mm, ヨー角誤差が7.96°, ピッチ角誤差が7.09°未満であることを確認し、単一スピーカであるにもかかわらず非常に高正確度な5自由度推定が可能であることを明らかにした。また, ３次元測位に4台の実在スピーカを必要とする従来手法との比較実験を行い，実測値と dilution-of-precision（DoP）と呼ばれる測位における正確度の指標に基づき, １台のスピーカのみを利用する提案手法のほうがより高精度な位置推定ができることを明らかにした。これは「鏡像スピーカ」の概念を用いることで.図１のように廊下の物理的な制約を越えてスピーカの基線長を取ることができるためである。本成果は，学術論文誌として出版されている[1]。研究II :単一スピーカとスマートフォン間の時刻同期■背景博物館では、展示室等の大きなスペースの部図1   鏡像スピーカの概変屋が多く，壁からの反射波が定常的に生じるとは限らず，壁の鏡像スピーカの利用が難しい。また,展示ケース等の障害物が混在するため,実在スピーカや鏡像スピーカからの信号が遮蔽されてしまうことが考えられる。そのため，研究Iで前提とした廊下環境とは異なり,測位に必要な数の鏡像スピーカを得ることが難しい。そこで，研究Ⅱでは，本来スマートフォンでは難しいスピーカとの時刻同期手法を提案し。スピーカとスマートフォン間の伝搬時間を用いるToA方式での測位を実現する。これにより. TDoA方式と比較し測位に必要なスピーカ数を削減し、障害物への頑健性を向上する。
■方法
展示室等の大きなスペースの部屋では，壁の反射波が定常的に生じるとは限らないが，床の反射液は定常的に生じる。そこで、単一の設置スピーカと床の鏡像スピーカの幾何学配置に着目する（図2)。スマートフォンの3次元座標を(x, y, z), 実在スピーカの３次元座標を(r',y',z')とおくとき，床の鏡像スピーカの３次元座標は( x , y , − z )とおける。音速をc,信号の送信時刻をt。直接波の到来時刻をt。とすると，実在スピーカとスマートフォン間の距離は次式で表現できる。
( 1 )同様に、床の反射波の到来時刻をtrとすると.床の鏡像スピーカとスマートフォン間の距離は次式となる。
式(1)，(2)より次式が導出される。
このとき，未知数は送信時刻むとスマートフォンの高さzのみである。スマートフォンから送信される音響信号の反射波を活用するアクティプ音響センシングを用いることによって，高さzを求め，送信時刻を推定する。 ■成果提案するスピーカとスマートフォン間の時刻同期手法の性能を評価するために，スピーカとスマートフォン間の測距誤差を調査する。これは，正解となる送信時刻の取得が難しいためである。スピーカとスマートフォン間の距離が2, 4, ６ｍのときの90パーセンタイル測距誤差は37,  68,  210 mm未満であり,距離に応じて,時刻同期性能が悪化することを確認した。また，提案する時刻同期手法を用いたToA方式での測位性能を評価した。ユーザは２台のスピーカが設置された部屋の中央で円を描くように移動する。図3(a)は提案手法で推定されたユーザの軌跡であり, (b)はモーションキャプチャシステム(MCS)で算出された正解値である。90パーセンタイルでの3次元測位誤差は22.99 cm未満であり，屋内施設の大きなスペースをもつ部屋で，本研究の目標値に近い実用的なスマートフォンのトラッキングができることを確認した。一方で，博物館での評価実験を通し，展示ケースに極めて近い位置では，実在・鏡像スピーカからの信号が展示ケースにより遮蔽される場合が多く，測位が難しいことを確認した。
研究Ⅲ：見通し外環境でのスマートフォン間測距
■背景
障害物が混在する環境では，障害物により実在・鏡像スピーカの信号が遮蔽され，測位ができないケースがあることをこれまでの実験から確認している。一方で，スマートフォンの位置によっては障害物の影響が小さく測位ができる場合もある。そこで，複数のスマートフォン間の相対的な位置関係をスマートフォン間の測距により知ることで，測位ができていないスマートフォンの位置を，測位ができているスマートフォンの位置を利用して推定することを検討する。このとき，スマートフォン間の測距においても，障害物の影響が考えられる。音響信号を用いる従来の測距手法では，スマートフォン間に障害物のない見通し環境を想定する。そこで,スマートフォン間に障害物のある見通し外環境下で利用可能な測距手法を提案する。
■方法
音響信号を用いた従来の測距手法では，各スマートフォンから相互に音響信号を送信し合うことでスマートフォン間の距離dryを推定する。一方で，見通し外環境ではその信号が遮蔽され, d xyを求めることができない。そこで，天井により生じる反射波を活用する。天井の反射波を天井の鏡像スマートフォンからの送信信号と提えることで，図４の通り，新たに４つの距離dxx', dx'y, dyy', dxy'を獲得することができる。スマートフォンX- X'- Yで構成される三角形のなす角θは次式で与えられる。
同様に,スマートフォンX-Y-Yで構成される三角形のなす角θは次式で与えられる。
式(4), (5)よりスマートフォン間の距離dzyは次式で表現できる。
このとき, d≠, d≠, iiアクティプ音響センシングから導出可能で，dry, dryは相手のスマートフォンから送信される音響信号を活用するパッシプ音響センシングにより導出する。これにより、見通し外環境下では本来推定できないスマートフォン間の距離d xyを求めることができる。
■成果
本研究では,スマートフォン間の距離が2.3 mの環境にて，スマートフォンと壁までの距離，スマートフォンの角度，障害物の種類の３つのパラメータを変化し，評価実験を行った。複数の評価実験を通して，90パーセンタイルでの測距誤差が11.97 cm未満であることを確認した。また，実環境を想定した２つのシチュエーションで評価し，見通し外環境下にもかかわらず非常に高正確度な測距が実現できることを確認した。この成果は，現在屋内位置認識に関する国際会議に投稿中である[2]。
[今後の研究の方向，課題]
本助成を受け，反射波を活用した多くの測位手法を提案し，目標として掲げた「高精度かつ低コストで運用可能な測位システムの構築」の実現に大きく近づくことができた。今後は、本助成期間で得られた多くの知見を活かし、多くのユーザに利用してもらえるようなシステムへと昇華する。そのために，解決すべき課題が２つある。屋内施設に設置されたスピーカシステムでは，一般的にスピーカ毎に送信信号を変えることができず,スピーカを識別することが難しいといった問題がある。当初，本期間の解決すべき課題の1つに，この問題を挙げていたが，実環境での計測結果を踏まえて，研究Ⅲを先行する形で本研究に取り組んだ。そのため，この問題に再度取り組む必要がある。また、研究皿で提案した見通し外環境下における測距手法を活用した,測位が難しい位置にあるスマートフォンのための位置推定手法の開発に着手する。
[成果の発表,論文等]
[ 1 ]  Murakami, H., Nakamura, M., Hashizume, H., Sugimoto, M.: Five Degrees-of-freedom Pose- estimation Method for Smartphones using a Single Acoustic Anchor, IEEE Sensors Journal pp. 8030- 8044, doi : 10.1109/JSEN.2020.3047854  (2021) [ 2 ]  Murakami, H., Kandori, Y., Suzaki, T., Nakamura, M., Watanabe, H., Hashizume, H., Sugimoto, M.: NL-Beep :  A  Ranging  System  between  Multiple Smartphones Using Acoustic Sensing in NLOS Environments, In Proceedings of IPIN2021, Lloret de Mar, Spain, pp. 1–8, 2021 （投稿中）