立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

視覚環境を音声で表現可能な盲導犬ロボットに関する研究
Research on a Guide Dog Robot of Expressing Visual Environemnt by Voice2211017

研究代表者

神奈川大学

工学部機械工学科助教

張斌[研 究 の 目 的]
視覚障害者の歩行ガイドを行う盲導犬は需要に対しては圧倒的に不足しており，代替手段が求められており，視覚障害者と協調歩行する盲導犬ロボットの研究開発が盛んに行われている。
しかし，既存の盲導犬ロボットは道誘導機能を実現する際，ユーザの社会性のニーズへの考慮

Fig. 1 Overview of guide dog robot

が不足で，視覚障碍者が周囲の環境や街中のルを上下 0°から 90°及びと左右に 25°ずつ，動シーンを楽しめることができていない。そこで，くように伸縮リードを使い，ベース部固定され本研究では，ユーザ周囲の視覚環境をセンシンている。機体の材料には軽量で強度の高いポリグし，途中の風景や街中のシーンを理解し，音カーボネートとアルミフレームを使用している。

声で表現可能な盲導犬ロボットについて研究す

さらに，ハンドルの高さは使用者の身長を考慮る。視覚障碍者で街中を散策し，楽しめること

し，60[cm] から 80[cm] まで調節が可能であを目指す。盲導犬ロボットの社会受容性を向上る。

することが期待できる。
(2) 地図生成
ロボットが環境を理解するためには，LRF[研究の内容，成果]により得られる距離情報を用い，周囲環境の 2
道誘導タスクを完成するとともに，視覚環境次元地図を生成する。地図の生成には，自己位を音声で表現可能な盲導犬ロボットを開発し，

置 推 定 と 環 境 地 図 生 成 を 同 時 に 行 う SLAM

その有効性を実機実験によって検証した。

(Simultaneous Localization and Mapping) という手法を使用する。3 次元環境を理解するためには，RGB-D カメラで取得した情報に対し，(1) 盲導犬ロボットの機構開発した盲導犬ロボットを Fig. 1 に示す。移YOLO による物体認識を行い，認識した物体

動 ベ ー ス 部 (Vstone 社 の メ カ ナ ム ロ ー バ ーの 3 次元空間情報を 2 次元の地図に投影する。

Ver2.1)，制 御 部 (PC 2 台)，セ ン シ ン グ 部

YOLO とはディープランニング手法に基づき，(距離センサと RGB-D センサ RealsenseD435

リアルタイムで物体を認識手法である。実際にを 2 台) とハンドルで構成されている。ハンド

生成した地図を Fig. 2 に示す。黒色の点はロ― 1 ―立石科学技術振興財団

Fig. 5

Fig. 2 Environmental mapping

Mapping with space risk

ボットが障害物として認識した不動領域，灰色合を示す。人物の前方に長く，全長 117[cm]，は未知領域，白色は空領域を示している。認識最大幅 80[cm]，先端幅 32[cm] の卵形の領域した椅子の空間点群を地図に投影した結果は黒になる。Fig. 4(b) に示す会話中の人物は，各いブロックで示している。

人を向かい合わせに接続した形状である。空間のリスクは人物からの距離増加につれ減少していく。実験環境 (Fig. 2 に示す) にある扉やポ(3) 空間リスクマップを基づいた移動制御
リスクマップとは領域の危険度を段階的に表スターの前などの潜在的占有空間のリスクを指した地図のことで，Fig. 3 の地図の水色はロ定し，生成したリスクマップを Fig. 5 に示す。

ボットが侵入した際衝突する高リスク領域を表その後，ダイクストラ法を用いて最短経路をし，紫色は衝突の可能性がある中リスク領域を生成する。ダイクストラ法とはノードとエッジ表す。壁や人物など衝突が許されない領域に高で構成されたグラフ上において，2 つのノードいリスクを設定し，その近くには中等のリスク，間の最短経路を計算するアルゴリズムである。

物体の遠くにある何もない空間はリスクなしとロボットの移動可能な空間に配置されたノードする。人物を検知した場合は，人物の位置と向に対してリスクマップのリスク情報に応じたコきの情報をもとにパーソナルスペースと会話状ストを設定し，そのコストの合計が最小となる態の判断を行い，リスクマップに反映する。人経路を計算をする。ロボットが最短経路に従い物の体の向きの推定は，Realsense によって認移動する。移動制御はポテンシャル場を用いて識した人物のスケルトンモデルの右肩から左肩実現する。ポテンシャル場法とは，目的地と障へのベクトルの法線ベクトルで判断する。位置

害物に引力と斥力のポテンシャル場を定義し，座標は，スケルトンモデルを地面に投影される統合ポテンシャル場に従い移動させることで，2 次元座標系に準ずる。Fig. 4(a) に 1 人の場

障害物を回避しつつ，目的地へと移動可能な制御手法である。ロボットはユーザから一定の距離を維持するため，ユーザ前にソーシャル距離のところで引力場を設定する。人物のリスクマップも斥力場の一種として，統合ポテンシャル場に導入し，ロボットの移動速度を制御する。

Fig. 3Fig. 4

Risk map of objects

Risk map of human beings

Fig. 6― 2 ―Guide scene using robot

Tateisi Science and Technology Foundation

実験中では成人男性が目を隠してロボットのハンドルを持ち，ロボットの案内に従い目的時まで移動を行った。案内中のシーンを Fig. 6 に示す。成人男性は潜在的占有空間や壁などを適切に避けながら目的地まで移動することができた。
(4) 視覚環境の音声表現システム
ロボットの周辺の視覚環境を音声で視覚障碍

Fig. 8

者に表現するシステムは Fig. 7 に示す。
①

Moving path and motion changing points
during guide task

RGB-D カメラを起動し，環境のカラー画像を取得し，視覚環境の認識を始める。説明対

音声により道案内をする。

象物は，取得したカラー画像からディープラー

③

ニング手法 YOLOv3 を用いて，物体の種類をを判断する。目的地に到着している場合は，認識する。YOLOv3 は，MS-COCO というデー「We have arrived at the destination」と音声にタセットで事前に学習した 80 種類の物体を認よりアナウンスをして案内を終了する。また，識し，バウンティボックスという物体領域の外到着していない場合は，④ (道案内をする処接四角形を出力する。本研究では，視覚障碍者理) と ❹ (視覚環境の説明) に分かれて並行に案内する際の説明対象物を「person」「bicy-処理で実行していく。

cle」「motorbike」「car」「bus」「truck」「traf-④

fic light」とする。距離情報に基づき，YOLO動状況を判断する。例えば，曲がるべき場所のv3 で出力したバウンディングボックスの中心場 合，地 図 情 報 よ り 判 断 し「Turn right」や座標に対応した距離を測定する。そして，認識「Turn left」などと道案内のアナウンスを行う。

した物体との距離が 5 m 以内の場合のみを説❹明する対象とする。

対象物が 5 メートル以内にある場合のみを用い②

その後，事前に作成した地図と経路をもとて，説明文を生成していく。カラー画像から説に視覚障碍者を目的地に誘導するための案内を

明 文 を 生 成 す る に は，CNN (Convolutional開始する。案内を開始する際，視覚障碍者に盲Neural Network) で画像から特徴量を抽出し，導犬ロボットが移動することを知らせるために

LSTM (Long Short Term Memory) で説明文「go straight」などの音声によりアナウンスをを生成する NIC (Neural Image Caption) を用する。移動途中でユーザの安全を確保するため，いる。Fig. 9〜Fig. 12 に盲導犬ロボットが街中曲がるべき場所 (Fig. 8 の①〜⑥のところ) でで視覚障碍者に説明した場面と生成された説明

案内開始後，ロボットが目的地に着いたか事前に作成した地図をもとにロボットの移物体認識を行い，あらかじめ指定した説明文を示す。Fig. 9 は，人間が歩いている様子の場 面 で あ る。こ の 場 面 に 対 し て「a man iswalking down a street with a cell phone.」と説明文が生成された。Fig. 10 は，車が駐車されている場面である。この場面に対して「a caris parked on a street corner.」と説明文が生成された。Fig. 8 は，建物の前に車が駐車されてFig. 7

Voice expression system of visual environment
for the robotいる場面である。この場面に対して「a car isparked in front of a building.」と説明文が生成― 3 ―立石科学技術振興財団

Fig. 9Sound explanation scene of human walking

Fig. 11 Explanation scene of the traffic light

Fig. 10 Explanation scene where cars are parked

Fig. 12Sound explanation scene of the bus stopされた。Fig. 11 は，信号機がある風景である。

本研究では，視覚環境を音声で表現可能な盲

この場面に対して「a traffic light on a pole near

導犬ロボットを開発し，空間リスクマップに空a street.」と説明文が生成された。Fig. 12 は，基づいた動的環境下での自律移動ロボットの制バス停のある風景である。この場面に対して御手法を提案した。ロボットが安全確保かつ自「a man is standing in front of a bus stop.」と説然に移動するため，物に近づきすぎないように，明文が生成された。

それから人に不快感を与えないようにパーソナ❺

ルスペースを避けながら自律移動することがで｢gTTS (Google Text-to-speech)」というGoogle Translateʼs text-to-speech API を利用きた。また，視覚障碍者を安全に誘導しながら，し，❹で生成された説明文を音声合成により街中の風景を認識し，説明文を生成し音声で表MP3 の音声ファイルを作成し，再生すること現するシステムを提案した。道案内実験により，で視覚障碍者に視覚環境を伝達する。

ロボットの自律移動，物体認識，説明文生成，また，本研究の有効性を検証するために街中の風景とその説明文を男子大学生 24 人に見せ，音声合成機能を確認し，開発した盲導犬ロボットの有効性が検証された。

生成された説明文が適切であったかの 5 段階に[今後の研究の方向，課題]よるアンケート調査を行う。アンケートの問い
は，「ある方は，それぞれの場面をみてこのように回答しています。この解答は適切だと思い今後は物体の特性をさらに分析し，物体の種ますか。
」という問いで行った。すべてのシー類によって周りの空間の使用状況，占有強度をンに対し，適切と回答した割合が 70% 以上と定義し，ロボットの動きに影響することで，よ達しているため，本盲導犬ロボットは視覚障碍り人間らしい自律移動の実現を目指す。それか者に視覚環境を概ね適切に説明できたといえる。

ら，人物の前に通過するようなケースが避けらよって，視覚障碍者が普段見ることのできないれない場合は人間のように「すみません」とか視覚環境を把握でき道散策を充実させる可能性

声をかけてから移動することで，人間に優しいが期待できると言える。

ロボットの実現ができる。また，より多くの日― 4 ―Tateisi Science and Technology Foundation

常生活場面を認識し，音声で説明することで，持ちしやすい盲導犬ロボットの開発及び空間リスク

盲導犬ロボットの実用に向けて検証を行う。

マップを基づいた移動制御，”電気学会 電子・情報・システム部門大会，Aug. 2022．(予定)[5][成果の発表，論文等][1]pression System of Visual Environment for a Guide

張斌，仙石龍司，中村友昭，金子正秀，林憲玉，“空間リスクマップに基づく自律移動ロボットの移動制御，”ロボット学会学術講演会，1F4-04，Sep.
2021．
[2]

張斌，金子正秀，林憲玉，“物体の潜在的な占有空間を考慮した自律移動ロボットの経路決定，”情報処理学会全国大会，1C-01，Mar. 2022．
[3]

市川玲也，張斌，林憲玉，“盲導犬ロボットによる視覚環境情報をユーザに音声で伝達するシステムの開発，”ロボティクス・メカトロニクス講演会，
2P1-G04，Jun. 2022．(予定)[4]

R. Ichikawa, B. Zhang and H. Lim, “Voice Ex-

張斌，奥津幹也，落合凜，田山萌，林憲玉，“手― 5 ―Dog Robot,” The 8th International Symposium on
System Security, Safety and Reliability, Oct. 2022.
(accepted)[6]B. Zhang, M. Okutsu. R. Ochiai, M. Tayama andH. Lim, “Robust Motion Control for a Considerate
Guide Dog Robot,” Electronics, 2022. (査読中)[7]市川玲也，張斌，林憲玉，“視覚環境を音声で表現可能な盲導犬ロボットに関する研究，”電気学会
論文誌 (電子・情報・システム部門誌)，2022．(査読中)