立石科学技術振興財団

助成研究成果集(第26号) 2017

点字ブロック及び障害物の画像認識による視覚障がい者向けナビゲーションシステム
Pedestrian Navigation System for Visually Impaired People Using Image Recognition
for Braille Block and Obstacles
2161025

研究代表者

東京工業高等専門学校
情報工学科

准教授

山下晃

弘

共同研究者

東京工業高等専門学校
情報工学科

教 授

松林

勝志

境地図生成を行った上でナビゲーションのルー[研 究 の 目 的]ト作成にも役立てることを考える。また離れた覚障がい者が健常者の助けを借りることなく，点字ブロックへの誘導や，点字ブロック誘導路

訪問経験のない場所に行くことは非常に困難での終点や形状などについて警告を行うといったある。スマホやウェアラブル端末の普及により，案内の高度化を実現することも最終的な目標で健常者向けのナビゲーションは急速に発展した。

ある。本研究ではこの画像認識を行うため，近しかしながら，視覚障がい者を安全に案内する

年画像認識の分野で高精度な検出が可能といわためには，視覚障がい者向けのルート探索，測れる，ディープラーニングを応用する。
ディープラーニングとは多層化した人工位精度の向上，及び視覚に頼らない案内方法のニューラルネットワークを用いた機械学習手法確立が不可欠である。
著者らはこれまでに，高精度 GPS と点字ブの一つである。近年，人工知能分野においてロックに埋め込んだ RFID を用いたナビシステ

ディープラーニングに関する研究が盛んに行わムを開発し，実証実験を重ねてきた。一方で，れており，音声認識，画像認識，自然言語処理

GPS や RFID 等が利用できない場合の案内技など多くの分野で応用されている。

術の確立も不可欠であることが分かった。そこで本研究では，ウェアラブルカメラを用いた点2．点字ブロックの認識

字ブロックや障害物の自動認識によるナビ機能2. 1の実現を目的として研究に取り組んできた。

学習用データの準備

まず，学習用のサンプルデータを用意する。
点字ブロックが写った画像から，半自動で点字[研究の内容，成果]ブロックの領域を抽出するツールを作成し，複数の画像に切り出すことで大量の学習データを1．研究概要準備した。以下に具体的な処理過程を説明する。

本研究では，視覚障がい者向けのナビゲー

まず，点字ブロックが写っている画像を入力すションシステムをより高精度なものとするためる (図 1)。画面に表示された画像から，人がに，画像認識技術を導入する。点字ブロックや点字ブロックの任意の一点を選ぶ。選んだ一点障害物を自動認識し，自己位置推定や周囲の環と色相が近く，かつ連続している領域が抽出さ― 1 ―立石科学技術振興財団

図1

入力画像の例

図4

学習に使用する CNN の構造

クが一切写っていない画像を装置に入力し，自図2

動でセル分割と画像出力を行って生成する。

点字ブロック部分の抽出

2. 2

ニューラルネットワークの構造

本研究では，ディープニューラルネットワー
クの中でも特に画像認識の分野に適していると い わ れ る CNN (Convolutional Neural Network) を利用する。本研究では畳み込みとプーリングの処理を 2 回繰り返し，その後全結合を図3行う CNN モデルを用いる (図 4)。短時間で学学習用データの出力習を終わらせ，結果を次の実験に活用することれることで大抵の場合において点字ブロック部を考え学習速度が高い単純なモデルを使用した。

分のみを抽出することができる (図 2)。ここ

結果をこのモデルは Google が提供するディー

では，あくまで学習用データを作成することがプラーニングのフレームワーク TensorFlow お目的であるため，失敗した場合は選ぶ点を変更

よびディープラーニングライブラリ Keras をするなどしてうまく抽出されるように工夫する。

用いて構成した。

抽出は色相を基準としているが，退色した点字学習を行うにあたり，学習用データは 28×

ブロックは特に彩度が低く，色相情報が不安定28 の正方形グレースケール画像に統一して入になる場合がある。しかし明度については退色力し，入力画像が点字ブロックか否かを学習すした点字ブロックでも比較的明るく，反対に周る二値分類を行う。判定を行う際は，入力は学辺の黒いアスファルトなどは極めて暗い。この習用データと同じ 28×28 の正方形グレース

ような場合に備え，明るさを基準に領域を抽出

ケール画像，出力は判定結果を表す 2 次ベクトする操作も可能とした。次に画像をセル分割し，ルとなる。

点字ブロック領域を持つセルのみを残す。これ

2. 3

実証実験

ら各セル，または隣り合うセル同士を結合した

学習結果の評価のため，学習用データの一部

正 方 形 領 域 に つ い て，点 字 ブ ロ ッ ク 領 域 がを評価用とする。1 反復の学習ごとに評価デー

50% から 95% のものを学習用データ画像としタを用いて損失を求める。損失関数としてクロて出力する (図 3)。

スエントロピーを用いた。学習した識別器を適以上は学習用データのうち正解データの生成用した実証実験では，図 5 に示すような点字ブ過程である。対して不正解データは点字ブロッ

ロックを含む画像と，点字ブロックを含まない― 2 ―Tateisi Science and Technology Foundation

図5

点字ブロックを含む画像 (左) と含まない画像 (右)の例
図7

図6

一回目の実験における損失関数値の推移

一回目の実験で誤判別した典型的な例

図 8 二回目の実験における損失関数値の推移

適当な風景を細かく正方形に分割した画像を線要素に対して点字ブロックであると判定する

28×28 のグレースケールに変換して入力し，傾向が顕著であった。
一回目の実験では，直線要素を含む画像を誤正しく点字ブロックを認識するかを調べた。
学 習 用 デ ー タ と し て 正 例 50,000 件，負 例判別する例が多かった。その原因として，不正50,000 件の計 100,000 件用意し，そのうち評価解データの画像はアスファルトなど地面の画像用データとして正例 1,000 件，不例 1,000 件のが多く，直線要素が少なかったため，直線の有計 2,000 件を用いる。これらのデータは 2. 1 節

無が点字ブロックの有無判別に大きく影響してで述べたツールを用いて生成した。一回目の実いると判断した。そこで二回目の学習では，一験としては，まず点字ブロックとその他の地面

回目の実験で特に誤認識が多かった電線や建造を区別する学習になることを意識し，アスファ物などの画像を大幅に増やし，一回目の学習とルトや歩道などの地面を不正解データとして多同じ正解データ 50,000 件と，新規の画像を加数用意した。以上の画像をすべてグレースケー

えた不正解データ 100,000 件の合計 150,000 件

ルで入力し，色情報を用いない点字ブロックのを学習用データとして実験を行った。試験用

特徴を学習させた。

デ ー タ は 一 回 目 と 同 じ 正 解 1,000 件 不 正 解

反復 5,000 回で学習を行った際の，損失関数値の遷移を図 6 に示す。最も損失関数の値が小1,000 件に新たな不正解 1,000 件を加えた合計3,000 件である。

さかった反復 1444 回目のときの CNN モデル

反復 3,500 回で学習を行った際の，損失関数を使って 2,000 件の試験用データを判定させたの値の遷移を図 8 に示す。最も損失関数の値が結果，正解率は 99.50% であった。

小さかった反復 2478 回目のときの CNN モデ

誤判別した例を観察すると，明らかに点字ブロックを含まない画像を点字ブロック含む画像

ルを使って 3,000 件の試験用データを判定させた結果，正解率は 99.94% であった。

である判定する例が多数みられた。特に建造物

二回目の実験で得られた判別器の結果を確認の輪郭や横断歩道の模様，電線など (図 7) 直したところ，電線や建造物などの誤認識は改善― 3 ―立石科学技術振興財団

データに取り入れるか，画像の奥行情報を別な手段で認識させ，認識を行う領域の選択を距離に応じて変化させるなどの工夫が考えられる。
実際にナビゲーションすることを考えた場合，遠方の点字ブロックの有無や点字ブロックが向かう方向の認識は重要となるため，この点の改
図9二回目の実験で誤判別した典型的な例

善は重要であると考えている。

されたものの，レンガ状やタイル状の模様をも4．LSD-SLAM に基づく障害物認識

つ歩道，床など (図 9) を誤判別しており，ま本研究では，点字ブロックの認識以外にも，た遠くの点字ブロックの認識精度が低いことも画像処理に基づく周囲の障害物検出や環境地図分かった。

生成に取り組んでいる。SLAM (SimultaneousLoca-lization and Mapping) は，障害物認識と3．実験結果に関する考察

環境地図データを自動生成する問題であり，本

3. 1

研究では，単眼カメラ画像から環境地図生成とレンガやタイル模様の誤認識について

前述の実験において，レンガ状およびタイル自己位置推定を実行する LSD-SLAM (Large-状模様を点字ブロックと誤認識する傾向が表れ

Scale Direct Monocular SLAM) を 用 い て こた。これを解消するためには，CNN モデルのの問題に対応するシステムの実装を試みた。

見直しが必要であると考えている。CNN に限

LSD-SLAM は大規模な環境に対して，推定値らずディープラーニングは，ニューラルネットにロバスト性を示し，高精度な自己位置推定とワークの階層が増えるほどより多くの特徴を学環境地図生成が可能である。また，処理が非常習可能なモデルである。今回は環境の制約上，に軽量であるため，実装時の小型化に役立つ。

学習速度を優先し，比較的単純なモデルを用い案内経路の探索 SLAM システムから出力された。その結果，点字ブロック特有の凹凸を学習る環境地図は 3D 点群だが，環境を一定間隔のできず，周辺との直線の境界の学習が優先され，セルで区切り，各セルごとに障害物が存在する点字ブロックと誤認識する結果が生じてしまっか否かを保持する占有格子地図で表現することたと考えられる。

で，経路探索処理を単純化できる。
SLAM から得られる現時点での周辺環境と，これを改善するには，CNN モデルの畳み込み層とプーリング層を増やすことが有効である。

動作開始時からの観測データの蓄積によって構

3. 2成された環境地図は，それぞれ占有格子地図へ

遠方の点字ブロックの認識について比較的手前にある点字ブロックの認識精度は変換され，以下のように保持・処理される。

良好だったが，遠方へ続く点字ブロックの認識に失敗することがあった。これは学習データ生

局所的情報：自己位置から一定範囲内の周辺環成において，正方形領域内の点字ブロック部分境を占有格子地図へ変換したもので，カメラかが占める面積を 50% 以上としており，遠方のら即時的に得られる障害物を示し，その時点で点字ブロックが学習データになりにくいことと，の回避に使われる (局所的経路探索)。

また，学習データの画像が遠近間に関わりなく大域的情報：環境の原点から見た環境全体の点一定サイズの正方形に分割していることが原因群情報，つまり SLAM から出力される環境地と考えられる。遠方に続く点字ブロックなどの図を占有格子地図へ変換したもので，スタート

遠近感の強調された画像をより積極的に学習用時に生成する目的地までの大まかな経路の生成― 4 ―Tateisi Science and Technology Foundation[今後の研究の方向，課題]
視覚障がい者向けのナビゲーションシステムを実現するために，ディープラーニングを用いた点字ブロック認識システムの開発と，LSDSLAM を用いた障害物検知およびルート作成機能の実装を行った。点字ブロックの認識においては，筆者らが用意した評価用のデータにおいて，99.9% 程度の認識精度を達成することが

図 10 案内経路の生成例でき，実用化に向けた可能性が得られたと考えている。しかし，誤認識してしまう場合もまだ散見されるため，今後も誤認識の傾向を考察し，精度を高める工夫を続けていく。また，実際に視覚障がい者が身に着けた状態で得られる画像での精度検証はまだ実施できていない，今後は実際に身に着けた状況で点字ブロックが正しく
図 11

LSD-SLAM に基づく経路探索の出力例認識できるかどうかについて検証を行っていく予定である。に使われる (大域的経路探索)。この占有格子

一方で，LSD-SLAM を用いた障害物回避を地図はシステムに保存され，次回以降の案内に実現するルート作成機能についても，実環境で利用される。

ルート作成が実現できることを確認した。ただし，同色の壁や天井が続く環境など，撮影画像以上で示した 2 つの経路探索を合成し，シスのコントラストが極端に少ない場合は正しい環

テム上での案内に利用する。まず，現在地 (出境地図が成績できない問題が明らかになってい発地) と目的地が入力され，保持している地図る。今後は，画像認識と RFID タグや GPS のに対して大域的経路が算出される。案内中，局それぞれの特徴を生かしたシステムとして融合

所的情報から見つかる大域的経路上の障害物にし，実際の視覚障がい者の方に使っていただき局所的経路探索が実行され，元の経路へ戻る経ながら実用的なシステムの実現に向けて研究開路が計画される。図 10 は処理の様子を示して発を継続する予定である。

いる。局所的経路は障害物が観測されてから計算される。
LSD-SLAM を実装したシステムを経路上に[成果の発表，論文等]障害物を置いた簡単な環境で動作させた。障害

1．山下晃弘，佐藤佳，佐藤俊太，川口正太郎，松林勝

物として設置した箱を避ける経路が生成されて志：UHF 帯 RFID を用いた視覚障がい者向け歩行いることが図 11 の実験結果から読み取れる。
図中における点の集合体は，SLAM から出力された点群であり，シミのようなものは，占有者ナビゲーションシステムの開発と展示会への適用，情報処理学会論文誌コンシューマ・デバイス & システム，Vol. 7，No. 1，pp. 1-10, Jan. 2017.
2．Akihiro Yamashita, Kei Sato, Syunta Sato andKatsushi Matsubayashi : Development of a Pedes-

格子地図によるコスト値を示している。

trian Navigation System for the Visually Impairedwith QZSS and RFID, Joint 8th International Conference on SCIS&ISIS2016, Sa6-2-3, Sapporo (Japan),― 5 ―立石科学技術振興財団

2016.

4．大塚康平，伊藤篤志，上川畑槙吾，佐藤佳，佐藤俊

3．遠藤勇樹，尾崎和真，山下晃弘，松林勝志：視覚障太，山下晃弘，松林勝志：RFID を利用した視覚障がい者向けナビシステムにおけるカメラ画像を用いがい者向けナビシステムの改良及びその実証実験，た障害物検出及び自己位置推定法，情報処理学会第情 報 処 理 学 会 第 79 回 全 国 大 会 要 旨 集 4G-01, 1-79 回全国大会要旨集 4G-02, 1-pp79-80, 2017.

pp77-78, 2017.

― 6 ―