プロジェクト報告書（最終）Project Final Report

提出日(Date)

2023/1/17

DLITE:ディジタル技術で境界なく人々の生活を支援する
Helping People Without Boundaries with Digital Technology
寺前拓海

Teramae Takumi

１ 背景
本プロジェクトでは、「視覚や聴覚に頼れない状況でみんなが役に立つ装置の開働く人や、夜活動することがある人にも役立つライトを制作することを目標とした。
2.2 Group B: 危険物検知システム(相棒)発」をコンセプトとし、視覚障がい者や聴聴覚障がい者が歩道を歩いている時に、覚障がい者が抱える問題を当事者目線で検後方から接近する人や自転車に気づくこと討し、実用的な装置の開発に取り組んできは困難である。したがって、この危険な状た。頼れない感覚を別の手段で補うこと

況を解消するためにカメラと画像認識技術で、不便を解消すること、日常的に使うこを用いて、後方にいる人の顔を検出し、振とのできなかったものを使えるようにする

動によって利用者に危険を通知するデバイこと、危険を伝達して 4 安全な生活の支援スの開発を行うことで安全に生活してもらをすることなどを目的としている。

うことを目標とした。

視覚障がいの中でも夜盲症という暗いと

2.3 Group C: 待機列支援システム

ころでは極端にものが見えにくくなるとい

視覚障がい者の方は、日常生活においてう方向けを支援する”光度調節ライト”、聴行列に並ぶことが難しいといった問題を抱

覚障がいの方向けの後方からの危険を察知えている。これは、列の場所が把握できなしてそれを装着者に伝える”危険物検知シ

い、前方の人が進んだタイミングを把握すステム(相棒)”、視覚障がいの中でも全盲ることができないといった問題があるための方を対象として列に並ぶ不安を解消するである。これらの問題を解決するために２システム”待機列支援システム”の 3 つのグつの開発を行った。一つ目は、前方の人とループに分かれてデバイスの開発を行っの距離を検出し、音や振動で装着者を誘導た。

するといったデバイスである。二つ目は、

2 課題の設定と到達目標列の方向を検知し、最後尾まで装着者を誘

2.1 Group A: 光度調節ライト導するといったデバイスである。これによ夜盲症はライトを使っても周りを認識すり、視覚障がい者の方が一人であっても行ることが難しいため、人の顔に光を当てて列に並べるように支援する。

しまうことがある。そこで、カメラから人

3 課題解決のプロセスとその結果の顔を認識し、ライトの光度を低くするこ

3.1 Group A: 光度調節ライトとで光が目に入ってしまう人への影響を和

3.1.1 プロトタイプの作成

らげるライトを開発する。このライトは視

人の顔を認識するためにどのようなカメ覚障がい者の方だけでなく、様々な現場でラを使用するか、どの媒体に装着するのか最善を尽くすために試行錯誤を繰り返した。ここで顔を検知する際の安定性に問題があった。例えば白杖にセンサを設置してしまうと白杖は常に動かして使用するものであるのでセンサの誤検知を引き起こしてしまう。よって手で持つハンディ型のライトにセンサを設置することに落ち着いた。
3.1.2 人の顔を認識するセンサの開発
Unit V2 カメラを使用し、人の顔を検知したときだけライトの光量を調整するよう

図 2 光度調節ライト
3.2 Group B: 危険物検知システム(相棒)
3.2.1 物体の検知
後方から何が接近しているのかを判断すにしたことで廃熱性能の改善を図り、るために Unit V2 カメラと UnitV2 の内臓

M5Stack Core2 と連携させることで機能の機能[2]である Object Recognition を利用軽量化に成功した。

して人と自転車との判別を行った。

3.1.3 ライトの作成

まず、Unit V2 カメラで検知した物体がフレッドボードに LED と抵抗器の回路人か自転車なのかを判断する。自転車だっを作成し、M5Stack Core2 と接続して操作た場合自転車が接近していると判断する。

が行うことができるように FET(電界効果

人だった場合、Grove 超音波センサを用いトランジスタ)[1]を用いてライトの操作をて 0.5s ごとにセンシングした際に距離変可能とした。ここで、既存のライトでは光化が 40cm~80cm の場合は人が歩いてると量の調整が難しいので新しくロービームを判断し、距離変化が 80cm 以上の場合は人行うライトを購入し、同じくフレッドボーが走っていると判断する。接近の仕方ごとドに回路を作成することで二つのライトをに装着者に知らせるパターンを変化させる一つの回路で操作できるようにした。光度ことで危険度を知らせるのである。の調整はライトの切り替えで行うことで機能の軽量化を図った。
3.1.4 成果物
図 2 は本グループの成果物である。前述
したとおり、内部に 2 つのライトが格納されており、持ち手の横に Unit V2 カメラを設置することで顔を検知できるようにデザ

図 3 検知のパターン
3.2.2 Arduino IDE でのプログラム作成
M5Stack Core2 で Grove 超音波センサインした。人の顔を検知した際に内部のと Unit V2 カメラを操作できるように

M5Stack Core2 が回路に信号を送り、ハイArduino IDE を採用した。また、装着者にビームとロービームのライトの切り替えを危険を知らせるために振動を採用し、行う信号を送っている。また、暗所で利用

M5Stack Core2 に内蔵されているバイブレすることを前提としているため暗所ではセーションモーターを振動させることにしンサが反応しにくいといったデメリットがた。しかし、本グループの対象としているライトで大幅に軽減されている。

方は聴覚障がい者の方は振動で報告するしかないのだが、振動パターンの変化により装着者に危険の度合いを知らせるのは現実的ではないという結論に至り、現在も報告するパターンの開発を進めている。
3.2.3 収納ケースの作成
本デバイスは対象者の肩に装着して後方を常に警戒するというデザインをしている

図 5 危険物検知システム(相棒)
3.3 Group C: 待機列支援システム
3.3.1 ToF 距離センサ

が、機械的な見た目のデバイスには装着が列に並んだ際に前に並んでいる人との距難しいためのケースを作成する必要があ離を測定する必要がある。そのため、ToFり、ケースを手作りで作成した。見た目を距離センサを使用し、リアルタイムで前のウサギのぬいぐるみのようにすることでデ人との距離をセンシングした。前方の人とバイスに愛着がもてるようにするのと同時の距離が 1.5m 以内であれば止まるようににぬいぐるみの背に図 4 のように耳マーク指示し、1.5m を超えた場合は前に進んだ(聞こえが不自由なことを表すと同時に、と判断して装着者に前に進むように促す。

聞こえない人・聞こえにくい人への配慮を

3.3.2 Unit V2 カメラでの人検知表すマーク)を縫い付けることで周囲の方への配慮となるようにしている。

距離センサだけでは物体との距離がわかるだけで前方の物体が何かを判断ができない。そのため、Unit V2 カメラを使用することで人を検知した際にのみ ToF 距離センサが動くようにプログラムした。また、列に並ぶことを想定しているため人の後ろ

図 4 耳マーク
3.2.4 成果物

姿が衣服・荷物で隠れている場合が考えられる。そのため、誤検知が発生しても期待

図 5 は本グループの成果物である。ウサどおりの動作を行うように”person”との一ギのぬいぐるみに持たせている Unit V2 カ

致率が 80%である場合にのみ人を検知しメラと Grove 超音波センサで検知した情報たと判断するように設定した。

を内蔵している M5Stack Core2 に送信し、バイブレーションモーターが起動することで装着者の方から振動を伝えて危険を知らせている。また、前述したとおりぬいぐるみに耳マークを縫い付けて周囲に耳が聞こえにくいということを伝えて配慮をお願いするようにデザインしている。

図 6 後ろ姿の検知
3.3.3 Grove 超音波センサ
本グループでは「列を追従するデバイス」と「列の最後尾に装着者を誘導する」二つのデバイスの作成を行っている。
Grove 超音波センサは「列の最後尾に装着者を誘導する」デバイスに使用されてい4.2 Group Bる。この超音波センサは本グループでは装後方の状況がわからない方でも危険をす

着者と列に並んでいる人との距離を測るのぐに察知し、装着者に情報を伝えるデバイに使用されており、最後尾へ移動するにあスの開発を行ってきた。カメラや接近するたって横方向と約 30 度前方向にセンサを速度を測定し、接近してくる物体の種類の傾けることで列への割り込みを防止してい特定にも成功した。しかし、その情報を聴る。

覚障がい者の方に伝える手段が振動しかな

3.3.4 Raspberry Pi

いためすべての状況に適応したデバイスでRaspberry Pi を使用して列に並んでいるあるとは言えない。また、服の種類や距離人の顔の向きを測定している。顔の向きのによっては誤検知が起きてしまう場合も少計測には dlib[3]を使用している。列に並なくないためこの問題の解決に今後着手しんでいる人は全員一方向を向いていると仮ていく。

定し、顔の向きを検知した方向と逆方向に4.3 Group C

列の最後尾があるとしてデバイスに組み込

全盲の方が安心して列に並ぶことができんだ。このとき、Raspberry Pi は VNC をるようするため我々は「列を追従するデバ使用したシリアル通信で接続し、調整できイス」と「列の最後尾に装着者を誘導するようにした。

る」という二つのデバイスを作成した。機
能の実装はできたが、デバイスが二つとなってしまったため全盲の方が一人で列に並ぶには装着するものが多く、列に並ぶ段階ごとに装着者自ら機能を切り替えなければ

図 7 顔の向きを測定している図ならないといった問題があるためあまり実

4 結論と展望践的ではない。そのため二つのデバイスの4.1 Group A統合を図り、少しでも装着者の負担を軽減暗い所や夜でも人に迷惑をかけずに必要することに尽力していく必要がある。

な分の光量を照射するデバイスの開発を行

5 参考ってきた。しかし、機能性に課題が残る結[1]KEYENCE-センサの NPN/PNP につい果となった。カメラが顔を認識している間て-,2021-9-24

は FET の電流を止めることで光量の調整

URL:https://www.keyence.co.jp/ss/producを行っていたが、その際にタイムラグが生

ts/sensor/sensorbasics/pe-npn-pnp.jsp

じてしまい、必要以上の光を当ててしまう[2]UnitV2 recognition service, 2021-5-26

点と発熱してしまうため耐久性に課題が残

URL:https://docs.m5stack.com/en/quick_sっている点の二つの問題を抱えてしまっtart/unitv2/base_functions

た。今後の活動では実践でも問題なく使用[3]PyPl-dlib 19.24.2

するためこれらの解決に取り組む予定であ

URL: https://pypi.org/project/dlib/

る。