WISS 2023

ショッピングセンターにおける散策体験向上を目的とした大規模言語モデルを用いた視覚障害者のためのナビゲーションシステム
神庭 有花 ∗†
浅川 智恵子 ¶ ∗∗栗林 雅希 ∗†森島 繁生 ††粥川 青汰 ‡佐藤 大介 §髙木 啓伸 ‡概要. 視覚障害者にとって自立して屋内施設を散策することは困難である．既存システムは視覚障害者の興味や好みをシステムに反映できる部分が限定的で，提供される情報は少なく固定的であるため，散策体験における楽しさを享受するうえでは不十分である．散策体験を向上するためには視覚障害者の体験中の主体性の向上と好みに応じた周囲の店舗情報の取得の実現が必要であり，視覚障害者の要望に柔軟に対応可能なシステムが求められる．そこで本研究では大規模言語モデルの高い自然言語処理能力が要望の理解と柔軟な応答に役立つと仮説を立て，大規模言語モデルを用いて，ショッピングセンターにおける視覚障害者の散策体験の向上を目的としたナビゲーションシステムを開発した．本システムには対話形式で歩行経路を設定する機能と，視覚障害者の好みに応じて店舗案内の仕様を変更し，説明文の文章量を距離に合わせて調整する機能を実装した．

1

はじめに視覚障害者にとって，ショッピングセンターなどの屋内施設を独力で散策することは難しい．そこで歩行中に店舗などの屋内施設の情報を提供するため，これまでに数多くの視覚障害者のためのナビゲーションシステムが提案されてきた．多くのシステムは，自己位置推定手法と事前に用意された地図を利用して，目的地までの経路の指示と周囲の店舗を音声で読み上げながら視覚障害者を案内する [7, 5]．これらのシステムは主にスマートフォンに実装されているが，経路の指示と周囲の店舗情報の両者を音声で聞くことの認知負荷の高さから，店舗の説明は「右方向に〇〇店」のような短い文章を読み上げるシステムが一般的である [8]．一方で，視覚障害者を自動で案内するナビゲーションロボットが開発されている [2]．経路の音声指示に代わり，ユーザはロボッ
トの動きについて歩くだけで障害物を避けながら目的地に到着することができるため，歩行中の認知負荷が低減し，歩行中に長い文章を聞く余裕が生じている．本研究ではナビゲーションロボットへの導入を前提として，視覚障害者の自立的な散策体験を，周囲の店舗を叙述的な文章で詳細に説明することにCopyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗Authors contributed equally.
†早稲田大学‡IBM Research - Tokyo§
Carnegie Mellon University¶
日本科学未来館∗∗IBM Research††
早稲田大学理工学術院総合研究所

よって支援する手法を提案する．
視覚障害者の散策体験を向上するには 2 つの要素が重要である．第一に，散策体験の中での視覚障害者の主体性を向上させる必要がある [4]．既存シス
テムではユーザが目的地を一覧表から選択，あるいは，目的地を音声入力を用いてデータベースから検索する受動的な方法が主流である [8] が，これらの手法では指定できる語句と提供される情報が決められており，ユーザは自分のペースで情報を取得できない．一方でユーザは対話を通してシステムとやり取りをすることで，より主体的な情報の取得と目的地の選択が容易になる．そのため，柔軟な入出力が可能である対話形式のシステムが必要だと考えられる．第二に，視覚障害者個々人の散策体験の楽しさをより一層引き出すために，歩行中に周囲の店舗などの情報を個人の好みに応じて詳細に提供できるようにする必要がある [3]．既存システムでは読み上げられる対象店舗及びその説明文が事前に統一の形式で用意されていることが一般的であり，ユーザごとの好みと対象店舗の違いが考慮されていない [8]．
そのため，多岐にわたるユーザの好みを反映したうえで，各店舗の情報を多く含んだ説明文を，柔軟かつ即座に作成できるシステムが必要だと考えられる．
上述の 2 つの要素には共通して，ユーザの入力の文脈理解及び応答文章の柔軟性が求められるため，我々は大規模言語モデル [9] をナビゲーションシステムに統合することで，視覚障害者の散策体験の向上が可能だという仮説を立てた．第一の要素の実現には大規模言語モデルの高い自然言語理解能力と文章生成能力，第二の要素の実現には条件に従った文章要約や分類などの応用的な能力 [1] が有用だと考えられる．本研究では，散策体験を向上するために，

WISS 2023

大規模言語モデルを用いて，対話形式で歩行経路を設定する機能と，ユーザの好みと店舗間の距離に基づいて店舗案内を作成する機能を実装した．

実装

2

我々はシステムを経路の設定と店舗案内の作成の2 つの機能に分けて設計し，試作モデルとしてスマートフォンを用いたナビゲーションシステム [8] に実装した．大規模言語モデルには OpenAI 社によって提供されている GPT-4 モデル [6] を用いた．
2.1

経路の設定

ユーザはシステムとの対話を通して，興味を絞りながら行きたい店舗を決めることで歩行経路を設定する（図 1）．ユーザへの返答は，事前に準備した施設内の全店舗の名称と簡単な説明などの施設情報に基づいて，大規模言語モデルが生成する．
最初に，ユーザがシステムを起動すると，施設に不慣れな場合にも対話を開始しやすくするために，大規模言語モデルが施設情報に基づいて要約した施設の概要文が流れる．続いてユーザはシステムとの対話を通して経路を一つに確定する．例えば，システムから提供された情報の中に興味を引く店舗があった場合には，「〇〇店について詳しく教えて」とシステムに入力することで，より詳細な情報を得ることができる．あるいはユーザが特定の目的を持って施設を訪問していた場合は，「コーヒーが飲みたい」のような目的を入力することで，該当する店舗が複数提示される．一方で，特定の目的を持たないユー
ザは店舗までの経路ではなく，事前に用意されたツアーを歩行経路として選択することも可能である．
ツアーは一つのフロアの全ての店舗の前を通過するように設計されており，ユーザが興味を引く店舗を見つける機会を提供することを目的としている．
大規模言語モデルはユーザへの返答の生成と同時に，ユーザの入力に基づいて，歩行経路が確定か未確定か，及び確定の場合は案内を必要とする店舗またはツアーを判断する．歩行経路が確定されたと判断される入力の一例として「〇〇店に行きたい」が挙げられる．歩行経路が確定した場合，経路設計に移行する．ユーザが特定の店舗まで行きたい場合にはその店舗まで，事前に用意されたツアーが選択された場合にはツアーの開始地点までの，現在地からの最短経路を設計する．

2.2

店舗案内の作成

歩行中に通過する各店舗の説明文は，店舗案内に関するユーザの要望と店舗間の距離に基づいて，「少し歩くと右手に見える〇〇店は・・・」に準じた形式の文章を大規模言語モデルが生成する (図 2)．
経路を設定後，ユーザは店舗案内に関する 2 種類の要望，読み上げる店舗の対象に関する要望と説明

図 1. 経路の設定機能の概要図．

文の内容に関する要望を出すことが可能である．対象に関する要望があった場合には，説明文の生成前に，大規模言語モデルが経路上の全店舗の中で要望に合致する店舗のみを読み上げが必要な店舗として抽出する．例えば「飲食店のみを教えて」という要望を入力すると，雑貨店や服飾店などは読み上げが不要と判断される．一方で，「おすすめ商品を教えて」などの内容に関する要望があった場合には，説明文を生成する大規模言語モデルに，生成条件として入力する．大規模言語モデルは，ユーザの希望条件をもとに，読み上げが必要な各店舗の店舗情報を指定文字数以内に要約する．
説明文の文字数は，各店舗の読み上げの開始地点から終了地点までの距離と歩行速度から計算した読み上げが可能な時間と，読み上げ速度を考慮して指定する．多くの情報をユーザに提供するため，説明文は 1 つ前の店舗を通過してから，対象店舗の目の前に到着するまでの間，流れ続けるように設計した．

図 2. 店舗案内の作成機能の概要図．

3

まとめ

本研究では，視覚障害者のショッピングセンターにおける散策体験を向上するためのナビゲーションシステムを開発した．今後は実際のショッピングセンターで本システムを用いて視覚障害者を対象に実験を行い，各機能の有用性を検証したい．

ショッピングセンターにおける散策体験向上を目的とした大規模言語モデルを用いた視覚障害者のためのナビゲーションシステム

謝辞

ACM, 2023.

本研究は JSPS 科研費（JP23KJ2048）の助成を受けたものです．

参考文献[1] A. Azaria, R. Azoulay, and S. Reches. ChatGPT
is a Remarkable Tool – For Experts, 2023.
[2] J. Guerreiro, D. Sato, S. Asakawa, H. Dong,K. M. Kitani, and C. Asakawa. CaBot: Designing and Evaluating an Autonomous Navigation
Robot for Blind People. In Proceedings of the 21stInternational ACM SIGACCESS Conference on
Computers and Accessibility, pp. 68–82. ACM,
2019.
[3] G. Jain, Y. Teng, D. H. Cho, Y. Xing, M. Aziz,and B. A. Smith. ” I Want to Figure ThingsOut”: Supporting Exploration in Navigation forPeople with Visual Impairments. Proceedingsof the ACM on Human-Computer Interaction,
7(CSCW1):1–28, 2023.
[4] S. Kayukawa, D. Sato, M. Murata, T. Ishihara, H. Takagi, S. Morishima, and C. Asakawa.
Enhancing Blind Visitor’s Autonomy in a Science Museum Using an Autonomous Navigation
Robot. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems.

未来ビジョン
視覚情報から受動的に周囲の情報を取得できるため，晴眼者にとってウィンドウショッピングのような特定の目的を持たない施設の散策は，ごく一般的である．一方で視覚障害者は現地で得られる情報が少ないため，外出先で新たな目的地を見つけたり，現在地から新たな目的地を訪問したりすることは難しい．そのため，視覚障害者は事前に目的地や経路を調べたうえで訪問し，目的を達成した後はどこにも寄らずに帰宅することが多い．
近年盛んに研究されている視覚障害者用のナビゲーションロボットに本システムを組み込むことで，視覚障害者は現地で取得できる情報量が増え，歩行中の負荷が低減した状態で，施設内のあらゆる場所を自由に訪問できるようになる．そのため本システムには，視覚障害者による一人の散策が，単なる目的地に到達す[5] B. Kuriakose, R. Shrestha, and F. E. Sandnes.
Tools and Technologies for Blind and Visually
Impaired Navigation Support: A Review. IETE
Technical Review, 0(0):1–16, 2020.
[6] OpenAI.
GPT-4.
Retrieved in October
31, 2023 from https://openai.com/research/gpt-4, 2023.
[7] V. J. Pardeshi, Suraj R.and Pawar, K. D. Kharat,and S. Chavan. Assistive Technologies for Visually Impaired Persons Using Image Processing
Techniques – A Survey. In Recent Trends in Image Processing and Pattern Recognition, pp. 95–110. Springer Singapore, 2021.
[8] D. Sato, U. Oh, J. Guerreiro, D. Ahmetovic, K. Naito, H. Takagi, K. M. Kitani, andC. Asakawa. NavCog3 in the wild: Large-scale
blind indoor navigation assistant with semanticfeatures. ACM Transactions on Accessible Computing (TACCESS), 12(3):14, 2019.
[9] W. X. Zhao, K. Zhou, J. Li, T. Tang, X. Wang,
Y. Hou, Y. Min, B. Zhang, J. Zhang, Z. Dong,
Y. Du, C. Yang, Y. Chen, Z. Chen, J. Jiang,R. Ren, Y. Li, X. Tang, Z. Liu, P. Liu, J.-Y.
Nie, and J.-R. Wen. A Survey of Large Language
Models, 2023.

るための手段から，積極的に楽しみたい活動に変化した未来の実現を期待する．たとえば，目的を持ってショッピングセンターを訪問した場合には，目的地までの周囲の店舗の説明から，帰宅前や次回訪れたいと思うような自分の興味を引く店舗を探す楽しみが生じると考えられる．また，事前に用意されたツアーを選択することで目的地がなくとも歩行を開始できるので，ウィンドウショッピングのような体験や，ショッピングセンターに行ってから食事する店舗を決めるなど，現地の情報をもとに今後の行動を計画することが可能になると期待している．
ナビゲーションロボットはショッピングセンター以外にも博物館や空港などでの利用が考えられる．そのため，各施設に特化したデザインやどのような施設でも利用できるような包括的なデザインも検討していきたい．