プロジェクト報告書（最終）Project Final Report

提出日(Date)

2023/1/17

DLITE:ディジタル技術で境界なく人々の生活を支援する
Helping People Without Boundaries with Digital Technology
赤石征也

1

背景

本プロジェクトでは、「視覚や聴覚に頼れない状況でみんなが役に立つ装置の開発」をコンセプトとし、視覚障がい者や聴覚障がい者が抱える問題を当事者目線で検討し、実用的な装置の開発に取り組んできた。
頼れない感覚を別の手段で補うことで、不便を解消すること、日常的に使うことのできなかったものを使えるようにすること、危険を伝達して安全な生活の支援をすることなどを目的としている。
視力障がい者の歩行支援を目的としてデバイス開発を行う“上方向障害物警告システムグループ”、視力障がい者が一人でもストレスなく化粧をできることを実現するデバイス開発を行う”化粧支援デバイスグ
ループ”、点字ブロックに情報を付加し、初めて訪れる場所で目的地に迷わずたどり着けることを実現する”音声道案内デバイスグループ”、聴覚に頼れない状況での問題を解決するために、特定の音を検知しその方向を伝えるウェアラブルデバイス開発を行う”音方向通知デバイスグループ”の4つのグループに分かれて活動した。

2

課題の設定と到達目標

2.1

上方向障害物警告システムグループ

白杖を持つことで身体を障害物から守ったり、路面情報の収集等に役立つため、多くの視覚障がい者が外出時に携行している[1]。足元の障害物は白杖で認識できるが、上半身に当たる障害物の認識は難しい。そこで本グループでは、視覚障がい者の歩行支援を目的とし、歩行時に上半身に迫る障害物を検知し、利用者にわかりやすく通知することを課題とした。最終的には視覚障がい者が一人で不便なく歩行でき、装着に不快感がないデバイスを制作することを目標とした。

2.2

化粧支援デバイスグループ

視覚障がい者は一人で化粧の確認を行うことが困難である。そこで、本グループでは視覚障がい者が一人でも化粧を行い、ミスなどの修正が出来るようなデバイスの開発を目的とする。視覚障がい者が特に困難に感じている、口紅のはみ出しの有無の確認などをメインに、画像認識などの技術を利用し、音声ガイドで化粧の手直しの指示を行えるようにすることを目標とした。また、視覚障がい者が化粧を楽しめるような機能の搭載も最終的な目標とし、化粧の出来栄えの採点や、個人に合った色味の化粧品の提案などの機能も付け加えたいと考えた。

Akaishi Seiya
2.3

音声道案内デバイスグループ

視覚障がい者にとって、初めて訪ねた建物内での屋内移動は、現状の白杖や点字タイルだけでは難しく、介助者などの助けが得られない状況では不便が生じる。また、晴眼者においても同様に、初めて来た建物内で、目の前にあるランドマークが何を意味するのか、また目的の場所へは現在地からどこの方向に向かえばよいのかを知る手段はない。そこで本グループでは、点字ブロックに情報を付加し、それを画像認識させ、目的地の具体的な方向やその他の情報を使用者が取得できるようにすることを行った。そのうえで情報の中身を具体的かつ分かりやすく伝えること、使用者の邪魔にならないようなウェアラブル端末のデザイン設計をすることを課題とし、視覚障害者・晴眼者問わずに利用できる屋内案内システムを目標とした。

2.4

音方向通知デバイスグループ

本グループでは、聴覚障がい者が日常生活において、音に頼ることができないことにより抱えるいくつかの問題を解決し、安全・便利な生活を送るための支援をするデバイスの開発を目標とした。この目標を達成するための課題として、「音による危険の通知」を音以外の手段を用いて通知すること、360度から到来する音の鳴る方向の情報を通知すること、装着していて違和感や不快感のないウェアラブルデバイスのデザインを検討していくことなどが挙げられる。

3 課題解決のプロセスとその結果
3.1 上方向障害物警告システムグループ
3.1.1 制作物に使用するセンサの調査
制作物をなるべく軽量化・小型化させるため、使用するセンサの調査を入念に行った。その結果、バッテリーや処理能力、開発のしやすさが備わっている
M5StickC Plusを基盤とし、小型振動モータと小型ToF測距センサを使用して制作することを決定した。ほかに調査した結果として、超音波式の距離センサやRPLIDERという二次元領域で空間を認識できるセンサが挙げられたが、センサの大きさと応用の面での難しさから今回は採用しなかった。

3.1.2

プロトタイプの作成

M5StickC PlusとToF測距センサを用いて、物体に近づくと音が鳴るデバイスを作成した。この時使用した

ToF測距センサは検知範囲が狭いため、木の枝などの細い物体の検知が難しいことが課題である。障害物の検知距離の制御をすることと、通知の方法にバリエーションを持たせること、周りから見ても違和感のないようなデザインを考えることも課題である。

3.1.3

プロトタイプ2の作成

一つ目のプロトタイプの課題解決と、更なる小型軽量化のためESP32とToF測距センサ、振動モータをアクリルケースに収納したタイプを作成した。さらに、サングラスにシャフト差し込み用の穴を開け、デバイスを吊るすような形で取り付け、常に水平性を保つような仕組みを取り入れた。吊るす仕組みを取り入れたことにより、頭を上下左右に動かしたときにデバイスが激しく揺れてしまうことと、ESP32への電源供給としてUSBケーブルでの給電を試みたが、ケーブルの方さにより水平制御がうまく動作しないトラブルに直面した。

3.1.4

成果物

図1は本グループの最終成果物である。サングラスの両側面にデバイスが1つずつ備わっている。プロトタイ
プ2の課題解決のためM5StickC Plusのカバーとディスプレイを取り外し、基盤とバッテリーのみを利用した。最大限に小型軽量化を図るため、EAGLE[2]による基盤加工とFusion360[3]による3Dモデリング作成、3Dプリントによる専用ケースの作成を行った。デバイス1つの重量は約30g、サングラスとデバイス2個分合計の重量は84gとなっている。
図2はセンサの検知範囲を示している。検知範囲はセンサから1.5m、約20°の広がりで物体を検知している。

図1

上方向障害物検知デバイス

図2行った。視覚障がい者が実際に困っている問題として、一人ではミスの修正が困難であることが挙げられたため、予定通り開発を進めることを決定した。

3.2.2

唇領域の抽出

口紅のはみ出しなどのミスを修正する機能の搭載が望ましいと考え、第一に唇領域の抽出を目標とした。
当初カスケード分類器で唇を判別させようと考えていたが、精度を高めるには多くの唇の写真が必要となることが分かったためカスケード分類器は利用しなかった。代わりに、顔の特徴点を抽出することで唇の領域を抽出することに成功した。これを利用し、口紅のはみ出し具合をマスク画像などを利用することで計算し、唇全体で25%以上のはみ出しがある場合に音声ガイドで知らせるようにした。

3.2.3

眉尻の適切な位置指示

3.2.2で述べた顔の特徴点の抽出を利用し、眉尻の適切な位置指示の機能の搭載を目標とした。眉尻の適切な位置は小鼻と目尻を直線で結んだときに、眉尻を通れば適切であると考えられる。そのため、眉尻の位置を画像認識で検知し、小鼻と目尻を結んだ直線との位置関係を比較した。適切な位置に眉尻が無い時は、音声ガイドで知らせるようにした。

3.2.4

制作物

安定して顔を認識させるために、図3のような顔を固定する台を制作した。

図3 顔を固定する台
また、視覚障がい者が使いやすくデバイスの開発を目的としていたため、図4のような点字を使用したボタンも制作した。

検知範囲

3.2

化粧支援デバイスグループ

3.2.1

株式会社資生堂とのミーティング

株式会社資生堂とオンラインでのミーティングを行い、自分たちが搭載したいと考えている機能の説明を

図4

3.3

点字ボタン

音声道案内デバイスグループ

課題を解決するにあたって情報を付加した点字ブロックと点字ブロックリーダの制作を行った。

3.3.1

情報を付加した点字ブロック

情報を付加するにあたって、警告ブロックの突起をずらすことを考えた。そこで警告ブロックの加工をするために既存の警告ブロックを使ってしまうと、加工が困難であること、警告ブロック自体が高価であることから、タイルと半分に切ったスーパーボールで代替した。また、スーパーボールを使用した理由は警告ブロックの直径が同じであったこと、踏んでも危なくないことからである。尚、既存の警告ブロックと同様に弱視の人でも見やすいようにスプレーで黄色に塗装した。

図5

3.3.2

情報を付加した点字ブロック

点字ブロックリーダ

図73.3.3

装着図

点字ブロックの読み取り方法

プログラミング言語は Python を使い、OpenCV のテンプレートマッチングの機能を使用した。テンプレー
トマッチングとはテンプレート画像に一致する画像の小さな部分を見つける手法で特定のパターンを検出するための画像などを用意し、観測画像と照らしあわせて当該箇所を検出する手法である。テンプレート画像
は図8を使用し、カメラでの映像から当該箇所の座標を検出した。情報を付加した点字ブロックの中心の 9 点の座標を検出し、それらの上下左右両端の点の座標を結び、格子模様を描くことで 9 点それぞれの 4 領域を作り出した。これを左上から下に読み取ることで９桁の数字を手に入れ、その９桁の数字に合わせた音声を再生させた。

カメラからの映像を使った画像認識をプログラミン
グし、メモリを多く使用することから、Raspberry Pi４を使用した。また、スマホアプリの場合、手に持ちながら移動させるのはスマホを落とす危険性があること、体に装着させる形にしても緊急時に取り出しにくいことがあるためマイコンを使った形にした。点字ブロックリーダは特別なデバイスを装着していると思われないようにするため、Raspberry Pi ４やモバイルバッテリーはウエストポーチにしまい、骨伝導イヤホンやウェブカメラは外に出した。点字ブロックリー
ダはウエストポーチを腹部に装着し、ウェブカメラをウエストポーチの前部に固定し、骨伝導イヤホンを耳に取り付けることで体に装着できる形にした。

図8

図9

テンプレート画像

情報付加方法3.4 音方向通知デバイスグループ
3.4.1 デバイスの構想

図6

点字ブロックリーダ

前期活動では先行研究などの調査から、人の声やクラクションといった音の方向を通知するウェアラブルデバイスの開発を目標として設定し、通知手段や検知範囲といった構想を練りながら、いくつかのプロトタイプを制作し、その有用性を検討した。

3.4.2

インタビュー

後期活動では、聴覚障がい者の方へのインタビューを行うことができた。そこで実際にデバイスを使用してもらい、いくつかのアドバイスを受けた結果、適切な通知方法や、必要とする支援が想定と異なり、開発の方針を大きく変更しなければいけないことがわかった。だが、インタビュー後の活動時間は限られていたため、検知する音を「救急車のサイレン」に絞り、その方向を振動とディスプレイ表示によって通知するデバイスの開発に方針を変更した。

3.4.3

成果物

成果物は、腕装着型の音方向通知デバイスである（図10）[4]。機能としては、救急車のサイレンを検知した場合にユーザに振動で接近を伝える。そして、それに気がついたユーザが、デバイスのディスプレイ表示を見ることで音の発生方向を認知することができる。
サイレンといった特定の音を検知する方法として、
FFT解析を用いた。マイクで集音した音データをFFT解析すると、音の周波数成分ごとの強さを出力することができる。救急車のサイレンが鳴っている状態であれば、960Hz帯と770Hz帯の成分が強いということがわかるため、この情報を元にサイレンの検知を実現した。
音方向の検知には、音方位センサ基盤（図11）を使用し、M5StickCPlusを用いてFFT解析を行った。
工夫した点として、FFT解析で得られる一瞬の音の中
でどの周波数成分が強かったかという情報をそのまま利用するのではなく、救急車のサイレンが一定時間ごとに960Hz帯と770Hz帯の2つの波長を繰り返すという性質を利用し、周波数が切り替わったことを認識することで誤検知を抑制し、正確なサイレンの書く検知の実現を目指したことが挙げられる。周波数の切り替えの検知は、FFT解析で得た過去16回分のデータを保持し、サイレンの音と思われる周波数成分を検知したあとに過去データと照らし合わせること行った。

図11

音方位センサ

4

今後の課題

4.1

上方向障害物警告システムグループ

デバイスの小型化、軽量化、サングラスの形状に依存しない装着方法の考案、精度が安定的で汎用性のある実用的なデバイスを制作すること。

4.2

化粧支援デバイスグループ

当初目標としていた、化粧の採点や、色味のあった化粧品の提案などの化粧を楽しめるような機能の搭載までに至らなかったため、それらの機能も搭載した
い。

4.3

音声道案内デバイスグループ

情報を認識してから伝えるまでのラグの解決、点字ブロック代替品の塗装や加工方法、またこれらを行ったうえで、実際にいくつか大学内で設置し第３者からの意見をいただく必要がある。

4.4

音方向通知デバイスグループ

音方向の検知手段の再検討、誤検知の抑制、環境・地域による音変化への対応、スマートウォッチのアプリ化などが挙げられた。

参考文献

図10

音方向通知デバイス[1]函館視力障害センター，視覚障害者支援ガイドブッ
ク～支援したい その時に～，国立障害者リハビリテーションセンター自立支援局，2020.
[2]AUTODESK. EAGLE.
https://www.autodesk.co.jp/products/eagle/overvie
w?term=1-YEAR&tab=subscription, (参照2023-1-11)[3]AUTODESK. Fusion360.
https://www.autodesk.co.jp/products/fusion-360/ov
erview?term=1-YEAR&tab=subscription, (参照2023-1-11)[4]kesokeso621, meerstern/Sound_Direction_Sensor,
https://github.com/meerstern/Sound_Direction_Sens
or, (参照2023-1-16)