公立はこだて未来大学 2023 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2023 Systems Information Science PracticeGroup Report

プロジェクト名
DLITE2

Project Name
Daily Life Technologies for all

グループ名グループ CGroup NameGroup C
プロジェクト番号/Project No.

14-C

プロジェクトリーダ/Project Leader
木田至音

Shion Kida

グループリーダ/Group Leader
田渕日奈子

Hinako Tabuchi

グループメンバ/Group Member
田渕日奈子

Hinako Tabuchi

寺前拓海

Takumi Teramae

菊池隼翔

Hayato Kikuchi

中本隼人

Hayato Nakamoto

指導教員
三上貞芳

伊藤精英

宮本エジソン正AdvisorSadayoshi Mikami Kiyohide Ito Edson T. Miyamoto

提出日
2024 年 1 月 17 日

Date of Submission
January 17, 2024

概要
障がい者は一部の感覚や身体機能が使えないことによって、日常生活において利用できないサービスや装置、対応することが難しい状況に遭遇することが多く、不便を感じることがある。
また、危険な状況に置かれる機会も増加する。本プロジェクトでは、これらの問題を解決する
ために、視覚障がい者や聴覚障がい者が抱える問題を当事者目線で検討し「視覚や聴覚に頼れない状況でみんなが役に立つ実用的な支援システムの開発」を行うことをコンセプトとしている。プロジェクト名の DLITE とは、「comfortable Daily LIfe TEchnologies for all」の略である。本グループでは、このコンセプトをもとに、視覚障がい者を支援の対象とし、視覚障がい者が１人でも列に並ぶことができるように支援するデバイスの開発をテーマとした。視覚障がい者は日常生活において、視覚に頼ることができないことにより、「列の発見」や「列の進行に合わせた移動」ができないという問題を抱えている。本グループでは、これらの問題を解決
し、視覚障がい者が公共交通機関や公共の場を気持ちよく利用するための支援をするデバイスの開発・検討を目的とした。前期活動では、視覚障がい者移動支援講習での視覚体験や、視覚障がい者の意見をもとに、列をどのように検知するとよいか、どのようなデバイスが好ましいのかという点について検討した。そして、機能を実装するために必要な技術の学習、先行研究の調査、プロトタイプの作成などを行った。後期活動では、9 月に市のイベントである「防災マルシェ」に参加し、9 月時点で完成している機能のデモと今後の展望についての展示を行った。10 月には函館市の高校生や教員の方へのプレゼンを行った。10 月時点で「追尾支援デバイス」はほとんど完成に近い状態だったため、高校生や教員の方々から更に良いものにするためのフィードバックを得ることができた。その後、「追尾支援デバイス」の改良と同時進行で「最後尾発見デバイス」の製作に取り掛かり、成果発表会までに形にすることができた。
キーワード

視覚障がい, ラズベリーパイ, Opencv, M5Stack Core2（※文責: 菊池 隼翔）-i-Abstract
The inability to use some sensory and physical functions often causes inconveniencefor people with disabilities, as they often encounter services and devices that are notavailable or situations that are diﬃcult to deal with in their daily lives. It also increases
their chances of being placed in dangerous situations. In order to solve these problems,
the concept of this project is to examine the problems faced by the visually-impaired andhearing-impaired from their perspective and ”develop a practical support system that isuseful for everyone in situations where they cannot rely on their vision or hearing. The
project name DLITE stands for ”comfortable Daily LIfe TEchnologies for all. Based on
this concept, the group focused on visually impaired people as the target of support, andthe theme of the project was to develop a device to assist visually impaired people tostand in line even if they are alone. The visually impaired have problems in their daily
lives, such as not being able to ”ﬁnd the line” or ”move with the progress of the line,” dueto their inability to rely on their vision. The purpose of this group was to develop andstudy devices that would solve these problems and assist visually impaired people to use
public transportation and public places comfortably. In the previous term’s activities,
based on visual experiences at a mobility assistance course for the visually impaired
and the opinions of visually impaired people, the group examined how to detect queues
and what kind of device would be preferable. They then studied the technology needed
to implement the functionality, researched previous studies, and created a prototype.
In the second semester, we participated in the ”Disaster Prevention Marche,” a city
event, in September, where we demonstrated the functions completed as of September
and exhibited our future prospects. In October, we made a presentation to high school
students and teachers in Hakodate, since the ”tracking support device” was almost
complete as of October, Since the ”tracking assist device” was nearly complete as of
October, feedback was obtained from high school students and teachers on how to makeit even better. After that, we started working on the ”tail ﬁnder device” at the sametime as improving the ”tracking assist device,” and were able to bring it to fruition by
the time of the presentation of the results.
Keyworddisability, Raspberry Pi, Opencv, M5Stack Core2（※文責: 菊池 隼翔）- ii -

目次
第1章

はじめに

1

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

視覚障がい者が抱える問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

先行研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3.1

LineChaser . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3.2

AI スーツケース . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.4

目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.5

課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

1.6

先行研究との違い

3

第2章. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

前期活動

4

2.1

視覚障がい者移動支援講習会. . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2

前期の課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.3

課題解決の手順の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

2.4

中間発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

第3章

2.4.1

評価

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

2.4.2

評価内容を踏まえた反省 . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

後期活動

9

3.1

後期の課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93.2

課題解決の手順の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

3.3

防災マルシェへの参加 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.4

高校生・教員の訪問 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

3.5

成果物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

3.5.1

追尾支援デバイス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.5.2

最後尾発見デバイス . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.5.3

プログラムの詳細 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

利用した技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.6.1

M5Stack Core2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.6.2

M5Stack UnitV2 AI カメラ . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.6.3

M5Stack 用 ToF 距離センサユニット . . . . . . . . . . . . . . . . . . . .

17

3.6.4

M5Stack 用振動モータユニット . . . . . . . . . . . . . . . . . . . . . . .

17

3.6.5

Raspberry Pi 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.6.6

M5Stack 用超音波測距ユニット . . . . . . . . . . . . . . . . . . . . . . .

18

3.6.7

OpenCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.6.8

dlib . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

3.6.9

骨伝導イヤホン. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

成果発表会 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.6

3.7

- iii -

第4章

3.7.1

評価

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.7.2

評価を踏まえた反省 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

今後の課題と展望

24

4.1

プログラムの処理速度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

4.2

期待した列の発見. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

4.3

デバイスの統合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

4.4

デバイスの使用方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

4.5

多様な列の判定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

第5章

まとめ

26

付録 A

中間発表で使用したポスター (一部抜粋)

27

付録 B

防災マルシェで使用したポスター

28

付録 C

成果発表会で使用したポスター

29

付録 D

製作したプログラム

30

付録 E

相互評価

36

参考文献

38

- iv -

Daily Life Technologies for all

第 1 章 はじめに
1.1

背景

障がい者は一部の感覚や身体機能が使えないことによって、日常生活において利用できないサー
ビスや装置、対応することが難しい状況に遭遇することが多く、不便を感じることがある。また、
危険な状況に置かれる機会も増加する。本プロジェクトでは、これらの問題を解決するために、視覚障がい者や聴覚障がい者が抱える問題を当事者目線で検討し「視覚や聴覚に頼れない状況でみん
なが役に立つ実用的な支援システムの開発」を行うことをコンセプトとしている。プロジェクト名の DLITE とは、「comfortable Daily LIfe TEchnologies for all」の略である。本グループでは、
このコンセプトをもとに、視覚障がい者を支援の対象とし、視覚障がい者が１人でも列に並ぶことができるように支援するデバイスの開発をテーマとした。前年度の本プロジェクトでも視覚障がい者を対象にした取り組みは行われていたが、待機列に着目した取り組みは本年度が初めてである。
（※文責: 菊池 隼翔）

1.2

視覚障がい者が抱える問題

視覚障がい者は日常生活において、視覚に頼ることができないことにより、いくつかの問題を抱えている。まず、列が認識できないという問題を抱えている。バス停や飲食店、公共交通機関の乗り降りなどで発生する列は、視覚障がい者にとって可能な限り避けたいものである。日頃から通る道であれば、列ができているおおよその位置を予想することが可能かもしれないが、実際に列があるのか、たまたまそこに人が立っているだけなのか、あるいは全く人が居ないのかはわからない。
また、列に並ぶことになった際には、前方の人が進んだことを知る方法が前の人の靴に白杖を当てるしかないという問題が発生する。
（※文責: 菊池 隼翔）

1.3

先行研究

視覚障がい者の移動を支援するためのシステムやデバイスの先行研究はいくつかある。ここでは、参考にした先行研究を２つ紹介する。
（※文責: 中本 隼人）

1.3.1

LineChaser

LineChaser は、早稲田大学理工学術院総合研究所と日本 IBM の研究グループによって開発された視覚障がい者が列に並ぶためのナビゲーションシステムである。このシステムは、スマートフォンを用いて利用者を列の最後尾に誘導し、列に追従できるように支援するというものである。シスGroup Report of 2023 SISP

-1-Group Number 14-C

Daily Life Technologies for all
テムの概要としては、RGBD カメラと物体検出法を組み合わせて周囲の人物の位置を検出することで列の状況を判断する。その後、カラーヒストグラムを用いて最後尾の人物を追従する。利用者には、進むタイミングや方向、距離を音と振動によって伝える。
この LineChaser の問題点には、AR マーカの必要性とスマートフォンの利用が挙げられる。このシステムには、事前に用意した AR マーカと地図が必要である。これによって、AR マーカが設備されていない場所では、このシステムを利用することができない。また、このシステムの稼働にはスマートフォンを利用している。現代では、スマートフォンは電子決済をはじめとする様々な場面で必要となる。したがって、スマートフォンをシステムに占有すべきではないと考えた。さらに、視覚障がい者は片手に白杖を持っているため、スマートフォンを利用することで両手が塞がることはかなりのリスクである。
（※文責: 中本 隼人）

1.3.2

AI スーツケース

AI スーツケースは、一般社団法人次世代移動支援技術開発コンソーシアムによって開発が進められている、視覚障がい者移動支援ロボットである。このロボットは、カメラなどのセンサから得られた情報と AI 技術を組み合わせて、視覚障がい者の独立した移動を支援する。この AI スーツ
ケースには、様々な機能が搭載されている。位置情報から目的地までの最適ルートを探索する機能、音声や触覚などによる誘導機能、センサーの情報から障害物を認識し避ける機能などがある。
さらに独自機能として、センサ情報から周囲の人の行動を認識し、行列に並ぶ機能や音声対話機能など行動やコミュニケーションを支援する機能が搭載されている。AI スーツケースは、前に障害物があった時に先にスーツケースがぶつかるため、視覚障がい者にとって安心感が感じられるデバ
イスとなっている。また、スーツケースを持って歩くのは自然な動作であり，街に溶け込むことができる点も大きなメリットといえる。
（※文責: 中本 隼人）

1.4

目的

本グループでは、視覚障がい者が日常生活において、音が聞こえないことにより抱えるいくつかの問題を解決することを目的とし、安心安全な公共の場での活動を提供するデバイスの検討・開発を行った。具体的には、「列の位置を通知し最後尾まで誘導する」こと、「列の前の人が進んだことを通知する」ことを主な目的とした。
（※文責: 菊池 隼翔）

1.5

課題

本グループは日常生活での問題の中でも、主に外出する際に発生する問題に着目したため、デバイスの使用者が外に持ち歩きにくい形状やデザインのものは避ける必要がある。また、想定したデバイスの利用方法が他者にとって不快でないものか、利用者にとって安全なものであるか、不便なものでないかを検討する必要がある。また、列をどう定義づけて検知するか、どのように列を検知

Group Report of 2023 SISP

-2-Group Number 14-C

Daily Life Technologies for all
するかに関しての検討が必要であり、これらが課題となる。
（※文責: 菊池 隼翔）

1.6

先行研究との違い

先行研究では、スマートフォンやスーツケースに AI を搭載して歩行者の介助を行うというものであるが、どれも歩行者の両手に何かを持った状態での移動になるため、交通系 IC カードを出す
際や財布を取り出す際などに不都合が生じてしまう。また、本人がそのデバイスを手で持ち周りの状況を探るために身体の向きなどを変える負担が生じるため装着者の労力と技術が必要になるためすべての視覚障がい者の方が使えるとは一概には言えない。しかし、本グループでは「手で持つ」
デバイスではなく「身に着ける」デバイスとしているため装着者の自由度が上がります。また、骨伝導イヤホンや振動モーターモジュールを活用しているため情報が装着者の中で完結し、周囲に迷惑をかけるものではありません。これにより、我々のアプローチは先行研究とは一線を画し、新たな洞察と進展をもたらすと期待している。
（※文責: 寺前 拓海）Group Report of 2023 SISP

-3-Group Number 14-C

Daily Life Technologies for all

第2章

前期活動

前期活動では、5 月 12 日に函館視覚障害センターの方から視覚障害者移動支援講習会を受けた
他、先行事例や既製品を調べ列誘導デバイスの製作に必要な知識や技術の検討、試作などを行った。そして、7 月 7 日に中間発表会に参加した。
（※文責: 菊池 隼翔）

2.1

視覚障がい者移動支援講習会

5 月 12 日に函館視力障害センターの方による視覚障害者移動支援講習会を受けた。講習会では、視覚障がい者が実際にどのように見えているかの体験や、視覚障がいの種類についての座学、視覚障がい者への移動介助の方法を実際に体験して学んだ。講習会を通して、当事者目線での危険や不安の感じ方への理解をより深めることができた。

図 2.1

講習会の様子（※文責: 菊池 隼翔）

2.2

前期の課題設定

顔検出などに用いられる OpenCV を利用し、待機列を認識するプログラムをより適したマイコンで実行する目的で、可能性のあるセンサや技術などの試行に力をいれ、以下のように課題を設定した。

1. 先行事例や製品のまとめと考察
課題：先行研究にて iPhone などのスマートフォン機器を使っていたことから、スマートフォンを専有することへのデメリットをあげ、アプリではなくデバイスで実装することへのメリットをあげた。具体的なデメリットとして、決済を使用する際に iPhone を含めたス
マートフォン機器は不可欠であり、専有することによるバッテリーの消費がある。

2. 目的を実現するためのマイコン探索
課題：待機列を認識するために利用するマイコンとして M5Stack やラズベリーパイについGroup Report of 2023 SISP

-4-Group Number 14-C

Daily Life Technologies for allて調べた。

3. 目的を実現するためのセンサ探索
課題：待機列を認識するために利用するセンサについて担当教員と意見交換を行いながら調べた。

4. M5Stack と ToF 距離センサによる試行
課題：列に並んだとき前の人が進んだことを振動で知らせるデバイスを作るため、ToF 距離センサを M5Stack で試行した。

5. カメラモジュールの試行
課題：カメラモジュールの起動に成功した。解像度が良いことが分かったのでカメラモ
ジュールで読み取った情報を OpenCV に活かす方法を調べる。

6. OpenCV の試行
課題：OpenCV が Windows 上で動くことを確認した。次にラズベリーパイ上での動作を考えて試行する。

7. ToF カメラの試行
課題：ToF カメラによって人の認識を試した。

8. 動体検知の Python プログラムの試行
課題：動体検知によって動いたものを検知できるようにした。Windows 上での動作確認後にラズベリーパイでの実装を試行した。
（※文責: 田渕 日奈子）

2.3

課題解決の手順の概要

1. 先行事例や製品のまとめと考察
解決過程: 視覚、聴覚障がい者の方が抱える問題について直接聞く機会を設け、その内容をもとに私たちは彼らに対して何ができるのかを話し合うことでより見識を深めた。

2. 目的を実現するためのマイコン探索
解決過程: 私たちの実現しようとしているデバイスには何が必要かをメンバー全員で精査し、それを実現できる可能性が高いマイコンを調べ挙げた。

3. 目的を実現するためのセンサ探索
解決過程: 調べたマイコンで実装可能なセンサを実際に動かしてみることで、センサの精度や使用感、応用のしやすさを確認し、使えるセンサの取捨選択を行った。

4. M5Stack と ToF 距離センサによる試行
解決過程: 前方の人との衝突を回避するために人との距離を測る ToF 距離センサを

M5Stack で実装し、実際にどれくらいの距離まで測れるのか、何秒おきにセンシングするのかを検証した。

5. カメラモジュールの試行
解決過程: 列に並ぶうえで列をなしているのが人なのかどうかを確認するために Raspber-ryPi のカメラモジュールと OpenCV を併用して人とそうでないものの検知を行いリュックやフードを被っている人などの検知も可能なのかどうかなどの精度の検証を行った。

6. OpenCV の試行
解決過程: OpenCV を使えることは確認できたため OpenCV を書き換えることで人を検知

Group Report of 2023 SISP

-5-Group Number 14-C

Daily Life Technologies for all
する範囲やカメラを指定することが可能なのか検証した。

7. ToF カメラの試行
解決過程: ToF カメラには種類がありどのカメラがよいのかを検証した。M5Stack の ToF
距離センサはあくまでもセンサなので人の検知は不可能であったが性能がよく使いやすい。

RaspberryPi の ToF カメラはセンサではなくカメラになっているためうまく使うことができれば人の検知と距離の測定両方を一つのデバイスで実装できるがその分使いにくく精度もかなり下がってしまう。そのうえ、このカメラは参考資料がほとんど無いため私たちに使いこなすのは難しいと判断し、M5Stack を軸に活動を進めるというグループの基盤をつくる
ことに成功した。

8. 動体検知の Python プログラムの試行
解決過程: 人検知に関して、人とマネキンなどの人に似た形のものを区別するのが難しいた
め動体検知の Python プログラムについて試行錯誤している。動きや熱を検知する案も上がっているが具体的な解決策が決まっていない段階である。
（※文責: 寺前 拓海）

2.4

中間発表会

2023 年 7 月 8 日に、全プロジェクトが参加する中間発表会が、大学構内で行われた。
中間発表の目的は「成果の発表」よりも「各プロジェクト間の交流」である。自分たちのプロジェ
クトの現状を率直に報告し、また他のプロジェクトの状況を知ることにより、今後のプロジェクトの進行に役立てる。発表の対象は、他のプロジェクトの学生だけでなく、学外からの来客、教員、及び他の学年の学生とした。中間発表を行った後には、アンケートフォームを用いて、プロジェク
ト間で相互評価を行った。
（※文責: 田渕 日奈子）

2.4.1

評価

本プロジェクトは中間発表において、39 件の評価を受けることができた。その内訳は図 2.2 に示すように、学生が 90.0%、教員が 10.0% であった。

図 2.2

Group Report of 2023 SISP

評価者の種別-6-Group Number 14-C

Daily Life Technologies for all
評価フォームには、「発表技術についての評価」と、「発表内容についての評価」をそれぞれ 10
段階とコメントで評価する項目が設けられた。それぞれの評価の基準は、「プロジェクトの内容を伝えるために、効果的な発表が行われているか」と、「プロジェクトの目標設定と計画は十分なものであるか 」であった。
「発表技術についての評価」の 10 段階評価の結果は図 2.3 のようになり、平均は 7.85 であった。

図 2.3

発表技術についての評価

主な評価内容として、以下のような意見やコメントが寄せられた。
・動画や画像があり分かりやすかった・グループ分けが明確であり、幅広い人のニーズに応えている。
・身振り手振りがあると理解がしやすくなると感じました
・実際に制作物を使って説明していたので分かりやすかった。
・PC を見ながら発表していたので改善できるとより良いと思った。
・話の流れが分かりやすかったです。自然な流れで違和感なく聞けました。
次に、「発表内容についての評価」の 10 段階評価の結果は図 2.4 のようになり、平均は、8.18 で
あった。

図 2.4

発表内容についての評価

主な評価内容として、以下のような意見やコメントが寄せられた。
・重さなど、実用性を考慮している点はとても良いと思いました
・実現可能な目標を設定していた・どうすれば障害者が生活しやすくなるかや実際に作ったものの改善点を考えていた
・今後のスケジュールをしっかり決めていていいと思った

Group Report of 2023 SISP

-7-Group Number 14-C

Daily Life Technologies for all
・明確な目標を定めていると思います。
・計画については、より具体的な時期などを知りたかったです。
（※文責: 田渕 日奈子）

2.4.2

評価内容を踏まえた反省

発表技術の点では、動画を用いたスライドについて好評をもらった。動画の内容はグループが目指す最終的なデバイスの機能や見た目のイメージをピクトグラムや字幕を使って表したもので、機能の説明の際に参考として流した。結果として中間発表では聞き手に研究内容や目指すべきデバイスのイメージの理解を促進させる効果が見られた。また、パワーポイント前の長机にこれから使用していく、または検討しているセンサやモジュールを置くことで研究の進捗やデバイスのイメージを伝えることができた。さらに聞き手の興味を促すこともできるため、後期では成果物の実演だけではなくデバイスに取り入れたセンサの説明も加えると聞き手の興味をさらに促すことができると感じた。しかし、いくつかの改善点が見られた。まず、パソコンを見ながら発表していたことに対して否定的な意見が多かった。パソコンで原稿を見たり、発表者の目線がパソコンにいったりしていたという意見も見られた。この原因はプロジェクト全体で十分な発表練習の時間を取ることができなかったことが関係した。後期の成果発表では中間発表の経験を活かして、原稿を見らずに発表することを目標に準備の時間を考え、スケジュールに余裕をもつ必要がある。また、スライドごとの情報量が多く、聞き手がスライドのスピードに追いつかないという意見も見られた。これは中間発表でグループごとのスライドをまとめたものを用いており、１グループに割り振られる発表時間が短くなり、説明が早くなったことが原因である。さらに聞き手のスライドへの理解を促進するた
めに文字主体よりも絵や図主体のスライド構成を使用することも対策として考えられた。
次に発表内容の点では、研究目標が明確、実現可能である、重さや実用性を考えられていたというような肯定的な意見が比較的多かった。あえてスマホに搭載せずに、デバイスとして独立させることでスマホのバッテリーの消費を防ぐという試みに対して好意的なコメントも見受けられた。他にも、対応するべき課題が多く、一年間で実装までこぎ着けることができるのか分からなかったが実装されれば多くの人の助けになるという意見もあり、研究の社会性や実用性を感じられる機会となった。加えて実現レベルを考えられている、段階として実現を考えている点に賢明だという意見も述べられていた。また、質疑応答では熱を検知することで列の有無を確認するのはどうかという
意見もあり、グループの間で参考にした意見もあった。しかし、具体的な開発スケジュールを示していなかったため、どのように開発していくのか疑問にもつ意見が多かった。後期に向けてグループの活動をどう進行していくのか、グループ全体で共通のスケジュールを組み、それを示す必要があった。さらに後期の成果発表では、一年間を通したプロジェクト全体の動きの説明を加える必要がある。
（※文責: 田渕 日奈子）

Group Report of 2023 SISP

-8-Group Number 14-C

Daily Life Technologies for all

第 3 章 後期活動
後期活動では、9 月 30 日に函館市主催の防災意識を高めるイベントである「防災マルシェ」に参加した他、前期に引き続き追尾支援デバイスの作成を行った。更に、追尾支援デバイスを活用するまでに至る過程を手助けする、最後尾発見デバイスの考察・作成を行った。そして、12 月 8 日に成果発表会に参加した。
（※文責: 菊池 隼翔）

3.1

後期の課題設定後期活動では、前期で取り組んだ内容を踏まえ、実際にシステムを動作させるデバイスの作成に着手する。視覚障がい者が既に列に並んでいる状態と仮定し、前方の人物が進んだタイミングと方向を知らせる「追尾支援デバイス」の開発を第一目標と設定した。また、視覚障がい者が列の位置をある程度把握していると仮定し、列全体がどの方向を向いているかを認識して最後尾まで誘導する「最後尾誘導デバイス」の開発を第二目標とした。この二つの目標に向けた課題は以下の通りである。

1. M5Stack と UnitV2 による人物の検知
課題: 前期活動において浮上したカメラに関する問題点を解決するため、前方の人物を検知する機能の実行を UnitV2 と M5Stack で試行した。

2. Tof センサによる検知した人物との距離の測定
課題: 前方に並ぶ人物が進んだタイミングを把握するために前方の人物との距離を Tof セン
サによって測定した。

3. 検知した人物の左右への移動の認識
課題: 列は必ずしも直線ではない。前方に並ぶ人物が左右に移動したことを UnitV2 で取得したデータによって判定した。

4. UnitV2 の物体認識機能の誤検知
課題: 過学習や不十分な学習データ、照明の影響などの要因により、人物以外の物体を人物として誤検知してしまうといった問題が発生した。

5. 追尾支援デバイスの伝達手段
課題: 装着者に情報を伝える最適な手段を決定した。

6. OpenCV と dlib を用いた頭部方向推定
課題: 最後尾誘導デバイスを開発するにあたっての大きな問題点として列の方向を推定することが難しいことが挙げられる。列の方向を判定するために前方の人物頭部の方向推定をOpenCV と dlib を用いて試行した。
7. 超音波センサによる列の間隔推定
課題: 最後尾誘導デバイスを開発するにあたって、列の割り込みを防止しながら最後尾の位置を把握するために超音波センサを用いて人物が列に並ぶ間隔を測定した。

8. Raspberry PI 4 と M5Stack 間の通信
Group Report of 2023 SISP

-9-Group Number 14-C

Daily Life Technologies for all
課題:M5Stack の超音波センサモジュールを用いるため、GPIO を使用した通信を行った。
（※文責: 中本 隼人）

3.2

課題解決の手順の概要

1. M5Stack と UnitV2 による人物の検知
解決過程: 前期活動では、Raspberry Pi 4 の ToF カメラが扱いにくい点や Tof カメラ
についての参考資料が少ないといった問題点が浮上した。そこで、第一目標である追尾
支援デバイスの開発には、参考資料の多い UnitV2 を扱うことができる M5Stack を用いることに決定した。はじめに、前方の人物を検知するために UnitV2 に搭載されている「ObjectRecognition」という物体認識機能を試行し、中程度の精度で人物を検知できることを確認した。

2. ToF センサによる検知した人物との距離の測定
解決過程: 追尾支援デバイスを開発するにあたって、M5Stack の ToF センサモジュールを用いて装着者と前方に並ぶ人物との距離を測定した。これにより、測定した距離が一定値以上近づいた場合と離れた場合に信号を送ることが可能になった。これを用いて、列の前方に並ぶ人物が前に進んだタイミングを装着者に伝えるプログラムを実装した。

3. 検知した人物の左右への移動の認識
解決過程:UnitV2 による物体検知機能で前方に並ぶ人物の座標データを取得した。X 座標と設定した値を比較して、前方に並ぶ人物が左右どちらに移動したかを判定するための条件をプログラムに追加した。

4. UnitV2 の物体認識機能の誤検知
解決過程:UnitV2 の物体認識機能を実行した際に、人物以外の物体を人物として認識し、人物を人物以外の物体として認識する様子がみられた。私たちは物体認識機能の精度の向上を図る必要があると考え、M5Stack より提供されている「V-Training」というサービスを用
いて画像学習を試行したが、期待した結果は得られなかった。試行錯誤の末に物体認識の信
頼度スコアが 80% 以上の場合のみ実行するという条件を追加することで誤検知を緩和した。

5. 追尾支援デバイスの伝達手段
解決過程: 追尾支援デバイスの装着者にどのような手段で情報を伝えるかについて検討した。
伝える情報は前方に並ぶ人物が進んだタイミングと移動した方向の２つあり、装着者がこれらの情報を難無く区別できることが重要だと考え、異なる伝達手段を用いる方向性に決まった。前方に並ぶ人物が進んだタイミングで振動モジュールを振動させ、左右に移動したときは音声で方向を伝える形式とした。

6. OpenCV と dlib を用いた頭部方向推定
解決過程: 最後尾誘導デバイスの開発にあたって、私たちは装着者が進むべき方向を定める
前段階として列の方向を推定する方法について検討した。はじめに、深度センサによって列の形を特定し、画像学習によって列の方向を推定する方法について検討した。しかし、多数の列の画像が必要である点と列の方向を推定できる確証がない点からこの方法での開発は行わなかった。次に、頭部方向推定による方法について検討した。大抵の場合、列の方向と列に並ぶ人物の頭部の方向は同じであることから、頭部が向いている方向を推定することで列の方向を特定するという方法である。画像処理系ライブラリの OpenCV と機械学習系ライGroup Report of 2023 SISP

- 10 -

Group Number 14-C

Daily Life Technologies for all
ブラリの dlib を用いて、目・鼻・口などの位置を得る顔器官検出を行うことで頭部の方向を推定した。

7. 超音波センサによる列の間隔推定
解決過程: 私たちは最後尾を発見する機能の開発にあたって、列の間隔が十分に空いた時、そこを列の最後尾と仮定して開発を進めた。そこで、超音波センサを用いて列の間隔を推定する方法について検討した。２つの超音波センサを用いて前方と左斜め前方を測定することでリアルタイムに列の間隔を導出した。これにより、列の割り込みを防止しながら最後尾を発見することが可能になった。

8. Raspberry PI 4 と M5Stack 間のシリアル通信
解決過程: 超音波センサを用いるために M5Stack と Raspberry PI 4 を通信させる必要があった。はじめに、Bluetooth を用いたシリアル通信を試行したが、期待した結果は得られなかった。そこで、GPIO での入出力による通信を試行した。M5Stack の GPIO 出力とRaspberry Pi 4 の GPIO 入力を接続し、M5Stack 側のプログラムによって測定した距離が一定値以上であれば Hi を出力し、そうでなければ Low を出力させた。
（※文責: 中本 隼人）

3.3

防災マルシェへの参加

我々は防災マルシェというワークショップに参加することで実際に作成したデバイスに対する使用感や意見をまとめることができたのである。はこだて防災マルシェは、市場での買い物を楽しむ
かのように防災に触れてもらい、市民の皆さんの防災意識を高めることを目指したイベントである。このイベントに参加しているのは、一般の方や高校生、実際に障がいを持った方たちが参加している。我々はこの方たちにデバイスの魅力を説明し、そして実際に使用してもらった。その際に「着眼点がよい」や「デバイスをポーチ型にすることで使用感が向上するのはいい考え」などのよ
うな肯定的な意見とともに、「列の向きの検知がわかりづらい」などのような否定的な意見ももらうことができた。それらの意見を真摯に受け止めることで課題解決に向けてさらなる成長を促すことができたのである。

図 3.1

防災マルシェ-展示の様子

図 3.2

防災マルシェ-説明の様子（※文責: 寺前 拓海）Group Report of 2023 SISP

- 11 -

Group Number 14-C

Daily Life Technologies for all

3.4

高校生・教員の訪問

今回私たちは作成したデバイスの使用感を周りに評価していただくために高校生・教員の方々にデモ発表を行うことで今後の開発への足掛かりとし、また最終発表での発表の練習となり各グルー
プ様々なフィードバックを得ることができた。
得られたフィードバックとして・着眼点がよかった
・熱源感知を使用してみてはどうか・階段などで上下する場合はどうするのか・カメラ以外のデバイスを使うことはできないのかなどといったフィードバックを得ることができた。この経験を生かして後期の活動に取り組んで
いく。

図 3.3

函館高校-説明の様子
図 3.4

図 3.5

函館高校-デモの様子

高校教師団体-発表の様子（※文責: 寺前 拓海）

3.5

成果物

首から下げる形での実装で追尾支援デバイス、腰にセンサ類と顔周りにカメラを配置する形での実装で最後尾発見デバイスを作成した。各デバイスとプログラムについての詳細を本項で示す。

Group Report of 2023 SISP

- 12 -

Group Number 14-C

Daily Life Technologies for all

図 3.6

左：追尾支援デバイス 右：最後尾発見デバイス（※文責: 菊池 隼翔）

3.5.1

追尾支援デバイス

本デバイスは、首から下げられるポーチに取り付けた AI カメラと距離センサによって、デバイ
ス使用者が列に並ぶことを支援するデバイスである。視覚障がい者は、外出の際片手に白杖を持つ
ため、両手がふさがってしまうことを避けるためにポーチ型で実装した。機能としては、M5Stack

UnitV2 AI カメラによって、前方に映った物体が人間であるかを判別し、人間である確率が一定値を超えた場合、距離センサの値とカメラで得た位置情報を元に着用者を音声と振動でカメラに映っている人の背後まで誘導するものである。誤検知や前方の人との接触を避けるために、カメラに映ったものが人間である確率が 80 ％以上で、かつ 1.5 メートル以上離れている場合にのみ、前進可能であることを示すために振動センサが振動する。前方の人との距離が 1.5 メートル以内であることを検知すると振動は停止する。また、カメラの中心に対して基準となる範囲を超えて左右にズレが生じた場合、一度前進を止め方向転換を行うよう、振動を停止し前進を止めることを伝えると同時に、音声によって方向転換を促す機能を搭載している。

図 3.7

追尾支援デバイスを使用している様子（※文責: 菊池 隼翔）

Group Report of 2023 SISP

- 13 -

Group Number 14-C

Daily Life Technologies for all

3.5.2

最後尾発見デバイス

本デバイスは、使用者の肩付近に着用した web カメラで取得したデバイス使用者の前方にいる
人の顔の向きと、腰元に着用した取り付け角度の異なる２つの距離センサによって、デバイス使用者の前方に形成されている列の向きを伝え、最後尾まで誘導するデバイスである。カメラに人の顔が映り、距離センサでも 3 メートル以内に物体を検知した場合に動作を開始する。カメラに映っている人の顔の向きから、列の後方となる位置を予測し、左右の移動を指示する音声によって、列の後方への移動を促す。移動中には、前方と斜めに取り付けた角度の異なる２つの距離センサによって、デバイス使用者の前方と前方に人が並んでいる場合列の後方となる範囲に人がいるかを検知
し、列が途切れている部分を検知する。センサが１つしかない場合、人と人との隙間に反応してしまい割り込んでしまう可能性があるため、２つのセンサを利用した実装方法により割り込みを防止した。２つのセンサで同時に 3 メートル以上の空間を検知した場合、左右の移動指示を止め、最後尾であることを音声で伝える機能を搭載している。

図 3.8

顔方向検知の様子

図 3.9

最後尾発見デバイスを使用している様子（※文責: 菊池 隼翔）

3.5.3

プログラムの詳細

本グループでは前述した「追尾支援デバイス」、「最後尾発見デバイス」を作成するにあたって、

python と M5Flow の二つの言語を使用して開発を行った。
python とは、Web 開発、データサイエンス、機械学習、自動化、ネットワークプログラミングなど、多岐にわたる用途で利用されている汎用プログラミング言語である。標準ライブラリが豊富
で、多岐にわたるプロジェクトを遂行できる言語である。

M5Flow とは、M5Stack 向けのビジュアルプログラミングプラットフォームであり、Arduino
言語を基にしたプログラムが生成される。M5Flow を使用することで、プログラムをブロックのようにつなぎ合わせる形で構築でき、視覚的にコーディングすることが可能となる。このプラット
フォームは、IoT（Internet of Things）デバイス、センサープロジェクト、モバイルアプリケー
ションなど、様々な分野での開発に適している。
以上の言語を使用して本グループでは、以下のスクリプトを作成した。

Group Report of 2023 SISP

- 14 -

Group Number 14-C

Daily Life Technologies for all

図 3.10スクリプト一覧

各スクリプトの詳細について以下に示す。

face-capture.py では、OpenCV と dlib という機械学習系のライブラリを使用し、カメラに映った人の顔の向きの測定を行うプログラムを組んでいる。測定した結果を以下の 3 パターンで分けた。

1. カメラに向かって、int(yaw)(顔の向いている角度) が-15 から 15 の範囲にある場合は中央を向いていると検知

2. カメラに向かって、int(yaw) が 15 以上の場合は左を向いていると検知
3. カメラに向かって、int(yaw) が-15 未満の場合は右を向いていると検知
カメラで検知を行っている間、カメラに写っている人はこの 3 つのどれかに分けられ、2 と 3 を検知した場合 M5Stack に情報を送り、スクリプト measure-distance2.m5f を起動する。また、カメラは GPIO ピンから情報を取得しているためコード内で GPIO ピンの情報を input-state で読み込んでいる。

measure-distance1.m5f は「追尾支援デバイス」の方に使用されているスクリプトであり、UnitV2カメラと ToF 距離センサを操作している。ここで、列が左右に曲がっている場合を想定して装着者が列の軌道を修正できるようにしている。このスクリプトの変数 i は検知した物体の最左端、変数 w は検知した物体の横幅であり、i+w/2 で物体の中央の x 座標が導きだされるためこの値が100 より小さいと列は左に寄っており、556 より大きいと列は右に寄っていると判断している。また、前述したとおり人でないものの誤検知を防ぐため、人との一致率が 80 ％以上の場合のみプロ
グラムが機能するようにデザインしている。以上から物体が中央にきており、かつ距離が 1.5m 以
上離れていると検知した場合にのみ手元のデバイスが振動し、装着者の移動を促すというスクリプ
トである。

measure-distance2.m5f は「最後尾発見デバイス」の方に使用されているスクリプトであり、前述
したとおり face-capture.py と連携しているスクリプトである。face-capture.py で GPIO ピンの情報を受け取り、装着者と列の距離を測定する。その際に、列の割り込みを防止するため斜め前方
方向にも超音波センサを設置し、前方の距離が 3.3m 以内、また斜めの距離が 4.2m 以内である場合
は false を返し最後尾ではないと判定する。前方の距離が 3.3m 以上、かつ斜めの距離が 4.2m 以上である場合は true を返し最後尾だと判定する。true を返した時に HIGH ピンを face-capture.pyに送り、false を返した時に LOW ピンを face-capture.py に送りそのピンに対応した音声が骨伝導
イヤホンから流れてくるようになっている。
（※文責: 寺前 拓海）

3.6

利用した技術本グループでは上記で記したとおり二つのデバイスの開発に携わった。「追尾支援デバイス」と「最後尾発見デバイス」で我々が取り入れた技術についての詳細を本項で示す。

Group Report of 2023 SISP

- 15 -

Group Number 14-C

Daily Life Technologies for all（※文責: 寺前 拓海）

3.6.1

M5Stack Core2

M5Stack Core2 は、ESP32 チップをベースにしたモジュール式のマイコンであり、M5Stack シ
リーズの第２世代のコアデバイスである。多数のファームウェアや小型で取り扱いやすいモジュールが M5Stack から提供されていて、IoT プロジェクトに適している。開発プラットフォームとプ
ログラミング言語は、Arduino、UIFlow、MicroPython がサポートされていてプロトタイピングに広く使用されている。旧製品の M5Stack Basic との主な異なる点は、液晶ディスプレイの視認性の高さやタッチスクリーンである点、マイクロフォンや内蔵振動モーターが追加されている点が挙げられる。また、内蔵バッテリーの容量も３倍以上に増えている。

図 3.11 M5Stack Core2（※文責: 中本 隼人）

3.6.2

M5Stack UnitV2 AI カメラ

M5Stack UnitV2 AI カメラは、Linux で動作するスタンドアローンの高性能 AI カメラモジュールである。AI 認識アプリケーション、ハードウェアリソース、開発ツールが豊富で、IoT プロジェ
クトに適している。AI 認識アプリケーションには、顔認識、物体認識、物体追跡、色追跡、形状認識、バーコード認識などの機能が含まれ、専用の開発エディタを使って容易に開発を行うことができる。M5Stack が提供している V-Training というサービスによって、任意の画像学習を行うことも可能である。私たちは追尾支援デバイスの開発において、物体認識機能を前方の人物を検知するために利用した。UnitV2 の物体認識機能には、Yolo-Fastest というリアルタイムにオブジェクトを検出するアルゴリズムが用いられている。

Group Report of 2023 SISP

- 16 -

Group Number 14-C

Daily Life Technologies for all

図 3.12 M5Stack UnitV2 AI カメラ（※文責: 中本 隼人）

3.6.3

M5Stack 用 ToF 距離センサユニット

M5Stack 用 ToF 距離センサユニットは、Time-of-Flight 方式による高精度の距離検出ユニットである。GROVE コネクタによって M5Stack に接続し、コア部分と I2C で通信する。ToF は、パルス投光したレーザー光が対象物表面で反射して返ってくるまでの時間を基に距離を測定する方式である。私たちは追尾支援デバイスの開発において、装着者と前方の人物との距離を測定するために利用した。

図 3.13 M5Stack 用 ToF 距離センサユニット（※文責: 中本 隼人）

3.6.4

M5Stack 用振動モータユニット

本グループの開発しているデバイスは全盲の方を対象としており、装着者に情報を伝えるために「音・振動」を活用している。そのうち振動をこの M5Stack 用振動モータユニットで情報を伝える
ようにデザインしている。このモータユニットは、露出している偏心ホイールが回転することで振動する仕組みである。そのため、このユニットを直接握り、振動を直接感じることで情報の伝達ミスを防いでいる。また、振動だけでなく、微弱ながらモータの回転する音も聞こえるため、振動に気付くことができなかった場合にもこの回転音が保険となる。

Group Report of 2023 SISP

- 17 -

Group Number 14-C

Daily Life Technologies for all

図 3.14 M5Stack 用振動モータユニット（※文責: 寺前 拓海）

3.6.5

Raspberry Pi 4

本グループでは Raspberry Pi というシングルボードコンピュータを使用しており、低コストかつ高いパフォーマンスを提供することが特徴である。 40 本の汎用入出力ピン（GPIO ピン）を備
え、様々な拡張やセンサーの接続が可能となっている。本グループでは GPIO ピンからカメラを操作し、人の顔の向きを検知する機能を設けている。また、Raspberry Pi を VNC からパソコンにリモートデスクトップ接続することでリモートで Raspberry Pi を操作している。ここで使用している VNC とはサーバー側のデスクトップ環境をクライアント側で表示することができるようになるツールのことであり、リモートから別のコンピュータのデスクトップを操作したり、データやアプリケーションにアクセスしたりすることができる。

図 3.15 Raspberry Pi 4（※文責: 寺前 拓海）

3.6.6

M5Stack 用超音波測距ユニット

M5Stack 用 Grove 超音波距離ユニットはパルス信号の送信と受信の間の時間経過を測定することで、ターゲットまでの距離を計測するユニットである。本グループではこのユニットを「最後尾発見デバイス」に使用している。このユニットを二つ傾けて装着することで列の最後尾を誤検知しGroup Report of 2023 SISP

- 18 -

Group Number 14-C

Daily Life Technologies for allて割り込みの防止することを目的として利用した。

図 3.16 M5Stack 用超音波測距ユニット（※文責: 寺前 拓海）

3.6.7

OpenCV

OpenCV は、リアルタイムにコンピュータビジョンタスクを行うためのオープンソースのライ
ブラリである。画像処理やコンピュータビジョン、機械学習などのアプリケーションで幅広く用いられている。また、C++、Python、Java、MATLAB など、多様なプログラミング言語がサポー
トされている。OpenCV の画像処理には、画像の読み込みや画像の作成をはじめ、トリミング、モザイク処理、ノイズ除去、物体検出など様々な機能が実装されている。私たちが利用した機能は物体検出である。この機能は、人などの物体を囲むバウンディングボックスの位置を特定するための処理である。物体検出の機能の一つである顔認識は、物体を検出するための効率的な手法である

Haar カスケード分類器を使用している。私たちが開発した最後尾誘導デバイスでは、この機能をリアルタイムで実行することで列に並ぶ人物の顔認識を行った。OpenCV は、これらの豊富な機能や高度のパフォーマンスによって、コンピュータビジョンや画僧処理を行う多くのプロジェクトで活用されている。
（※文責: 中本 隼人）

3.6.8

dlib

dlib は C++ で書かれたオープンソースのソフトウェアライブラリで、機械学習、画像処理、コンピュータビジョンのためのツールやアルゴリズムが含まれています。主に顔検出、物体検出、顔認識、画像処理などのタスクに使用されている。 dlib は、顔のランドマーク（目、鼻、口などの特定のポイント）を予測することができる機能も提供しており、本グループではこの機能を活用
して列に並んでいる人の向いている方向を測定するのに利用している。他にも dlib には、顔検出や顔認識に利用される高性能なツールを提供しています。特に、HOG（Histogram of Oriented

Gradients）特徴量と SVM を使用した顔検出は、dlib の強力な機能の一部である。
（※文責: 寺前 拓海）Group Report of 2023 SISP

- 19 -

Group Number 14-C

Daily Life Technologies for all

3.6.9

骨伝導イヤホン

骨伝導イヤホンとは通常のスピーカーが直接耳に音を送るのではなく、耳周りの軟骨を振動させ、それを通して骨に振動が伝わり鼓膜に音を伝達するイヤホンである。塞がないためユーザーは周囲の音も同時に感知できます。これにより、歩行中や運転中でも周囲の状況を意識しやすく、安全性が向上する。本グループでは装着者に周囲の状況を伝える手段として振動と音を選択しているが、デバイス本体からの直接の音声では環境音によっては聞き損ねてしまう可能性が高い。そのため、正確に音の情報を伝えるためにイヤホンが必要であるが、全盲の方にとって環境音も周囲の状況を知る貴重な情報源であるため通常のイヤホンではなく音声と環境音の両方を取得できる骨伝導
イヤホンを選択した。
（※文責: 寺前 拓海）

3.7

成果発表会

2023 年 12 月 8 日に全プロジェクトが参加する成果発表会が大学構内で行われた。成果発表会の目的は、これまでの学習の成果を学内外の関係者に発表し、評価を受け、この評価結果を今後の作業および最終報告書に反映させることである。また、自分たちのプロジェクトの発表を行ったり他のプロジェクトの発表を評価したりすることで、プロジェクト学習で習得すべき重要な要素である発表技術を習得することが目的である。発表の対象は、他のプロジェクトの学生だけではなく、教員、他学年の学生および学外からの来客とした。成果発表を行った後には、アンケートフォームを用いて、プロジェクト間で相互評価を行った。

図 3.17

成果発表会の様子（※文責: 田渕 日奈子）

Group Report of 2023 SISP

- 20 -

Group Number 14-C

Daily Life Technologies for all

3.7.1

評価

本プロジェクトは成果発表会において、42 件の評価を受けることができた。その内訳は図 3.17に示すように、学生が 88.0%、教員が 5.0%、職員が 2.0%、一般の方が 5.0% であった。

図 3.18

評価者の種別

評価フォームには、「発表技術についての評価」と、「発表内容についての評価」をそれぞれ 10
段階とコメントで評価する項目が設けられた。それぞれの評価の基準は、「プロジェクトの内容を伝えるために、効果的な発表が行われているか」と、「プロジェクトの目標設定と計画は十分なものであるか 」であった。
「発表技術についての評価」の 10 段階評価の結果は図 3.18 のようになり、平均は 8.38 であった。

図 3.19

発表技術についての評価

主な評価内容として、以下のような意見やコメントが寄せられた。
・それぞれのチームにわかれて説明することで、詳しくわかってよかった。
・グループに分かれた後も含め発表全体の流れがわかりやすかったです。
・デモを見学できてよかったです。
・質疑応答に丁寧に対応していてわかりやすかった。
・活動内容や目標、目的が伝わった。
・もう少しフィールドに出て具体的な場面で実施すると良かった。
次に、「発表内容についての評価」の 10 段階評価の結果は図 3.19 のようになり、平均は、8.93 でGroup Report of 2023 SISP

- 21 -

Group Number 14-C

Daily Life Technologies for allあった。

図 3.20

発表内容についての評価

主な評価内容として、以下のような意見やコメントが寄せられた。
・とても実用性のあるプロダクトで素晴らしかった
・健常者でも使えそうだと思った。
・「スマホを見ていて列が進んだのに気づかない」みたいなのが無くなりそう。
・社会的に意味のある成果物が多かった。
・目的と作ったものに一貫性があり、課題も把握していた・本当に欲しくなるデバイスで、目的がわかりやすく、成果も素晴らしかった。
（※文責: 田渕 日奈子）

3.7.2

評価を踏まえた反省

発表技術では、発表の形態や成果物の実演、発表の流れについて好評をもらった。前期の中間発
表では３つのグループの内容を１つのスライドにまとめ、そのスライドを使って A グループ、B
グループ、C グループの順番で説明を行った。最後にグループごとに分かれて質疑応答を行った。
その結果、スライドの情報量が多くなったり、グループごとの説明時間が短くなり聞き手がスライドに追いつかなかったり、発表についていくつかの課題が生まれた。そこで後期の成果発表会では最初にスライドを用いて聞き手全員に対し、協力団体やプロジェクトの１年間で行った活動、各グ
ループの成果物一覧の説明を行った。その後、各グループに分かれて詳しい説明を行った。この発表の形態により、前期の中間発表の課題であるスライドの情報量を減らし、各グループの発表時間を十分に確保することができた。実際に受け取った意見からも、発表全体の流れがよかったことや各グループの発表内容がより詳しく伝わったことが分かった。さらに成果発表では前期の中間発表ではなかった成果物の実演を行った。本グループでは発表時間の関係上、追尾支援デバイスと最後
尾発見デバイスの２つの成果物のうち、追尾支援デバイスの実演を行った。加えて、成果物の実演とは別に事前に撮っていた試行動画により成果物の機能をより効率的にわかりやすく伝えることができた。受け取った意見のなかでも特に成果物の実演に対する好評が多く、聞き手への理解促進の影響がよく分かる結果となった。また、前期の中間発表で見られた、パソコンを見ながら発表していたことに対する否定的な意見が成果発表では見られず、成果発表に対する準備の仕方が前期に比べてよくなったことも分かった。しかし、いくつかの改善点が見られた。成果発表では成果物が限定的な場所で使用されている様子しか動画になかったため、具体的な場面での活用を見たいという意見が寄せられた。例えば本学近くのバス停であったり、本学の生協であったり成果物を試すことGroup Report of 2023 SISP

- 22 -

Group Number 14-C

Daily Life Technologies for allができる場所はあるため、事前に多様な場所での成果物の使用の様子を事前に撮影する必要があった。
次に発表内容の点では、実用性が高い、需要が高い、目的と成果物に一貫性があるというような肯定的な意見が多かった。特に実際に使ってみたいや欲しいなどの意見が多く、障がい者だけではなく社会的にも需要があることが明らかになった。また、目的と成果の一貫性が高いという意見も多く、なかには中間発表の際に感じた疑問点がポスターによって明らかにされていたという意見もあった。このことから成果発表ではプロジェクトの目的からグループの目的や成果までの内容を聞
き手に上手く伝えることができたと考える。
（※文責: 田渕 日奈子）

Group Report of 2023 SISP

- 23 -

Group Number 14-C

Daily Life Technologies for all

第4章

今後の課題と展望

成果発表会までに直面したが解決できていない課題、フィードバックによって浮上した課題を述べる。課題の解決方法についても検討する。
（※文責: 菊池 隼翔）

4.1

プログラムの処理速度

追尾支援デバイスを製作する際に直面した課題で、最後尾発見デバイスの方でも大きな課題となっている。追尾支援デバイスでは、人であるかどうかを検知するために、学習した画像データと取り込んだ画像データを比較する処理を行うが、その動作が重いため、方向の指示に１秒程度のラグが発生してしまう。最後尾発見デバイスでは、カメラに映っている顔の点を読み取って方向を検知する処理が非常に重く、顔を捉えて方向を指示するまでに２秒前後かかってしまうこと、ぞもそもカメラの画像を取得するまでにも２秒前後かかってしまうことが問題である。実装する中でプログラムを何度か変更し、動作の軽量化を試みたがうまくいかなかったため、使用するプログラムや学習データ、機能を全面的に見直す必要があると考えられる。
（※文責: 菊池 隼翔）

4.2

期待した列の発見

最後尾発見デバイスの製作を検討した際に直面した課題である。最後尾発見デバイスを製作するにあたって、列をどう定義するかについて検討したが、”人がどこまで続いていれば列としてみなすのか”、 人が続いているものは本当に列なのか 、”検知した列は目的のとしている施設等の列であるのか”といった問題に直面した。今回は、前方に列ができていると仮定した上で人が向いている方向を元に最後尾へ誘導する機能として実装したが、これらの問題は解決していないままなので今後の課題である。作成したデバイスはあくまでも
ける

最後尾発見

デバイスであり、 列を見つ機能を持ち合わせていない点は、作成した２つのデバイスを利用する上でも大きな問題となる。列の発見問題は本年度のメンバーでは解決することができなかったが、もし今後のプロジェク
トで本課題に再度取り組むことになった際には、ぜひとも挑戦し解決してもらいたい問題である。
（※文責: 菊池 隼翔）

4.3

デバイスの統合

最後尾発見デバイスを製作する際に直面した課題である。追尾支援デバイスと最後尾発見デバイ
スは、それぞれにカメラと複数の距離センサ、振動モジュールを取り付ける必要があったため、１
つの M5Stack やラズベリーパイに２つのデバイスの機能を全て収めることはできなかった。そのため、M5Stack とラズベリーパイを連動させる方法についても検討し挑戦した他、PC を経由する

Group Report of 2023 SISP

- 24 -

Group Number 14-C

Daily Life Technologies for all
方法なども試したが成果はなかった。今後の展望として、M5Stack とラズベリーパイ間での通信を行うことで、１つのデバイスで追尾支援機能と最後尾発見機能の切り替えを行えるようにすることが今後の課題となる。
（※文責: 菊池 隼翔）

4.4

デバイスの使用方法

成果発表会のフィードバックによって浮上した課題である。最後尾発見デバイスの使用方法について函館視力障害センターの方から指摘があり、視覚障がい者には基本的にカニ歩きを避けるように教えるとのことだった。私たちが製作したデバイスの使用方法はカニ歩きでの実装となっていた
ため、実装方法を変える必要がある。カメラとセンサーの位置、角度、数を変更することで解決できると見込んでいる。具体的には、カメラを２つに増やし左右に取り付け、センサの数も左右に２つずつの４つにすることで横からの検知が可能になる。しかしそうした場合には、前述したデバイスの統合での問題がより顕著になることが予想されるため、より大きな課題となる。
（※文責: 菊池 隼翔）

4.5

多様な列の判定

今回本グループでは列の検知を行ってきたが、列の定義をあまりにも限定させすぎてしまい、
様々な場面で活用できるデバイスであるとは言えなくなってしまった。我々が今回列の定義として定めたものは「列は一列である」、「全員一方向を向いているものとする」、「人の並びは等間隔であるものとする」とし、この定義の元開発を行ってきたがこれでは不十分である。この問題を解決するために検知した情報の平均をとることで列の向きを正確に判定できると見込んでいる。
（※文責: 寺前 拓海）Group Report of 2023 SISP

- 25 -

Group Number 14-C

Daily Life Technologies for all

第5章

まとめ

本グループでは、視覚障がい者の方とりわけ全盲の方を対象として列に並ぶ不安を解消することを目標として活動を行ってきた。前期の活動では視覚障がい者移動支援講習会を行うことで当事者の目線から問題となっている点を明確にし、今後の活動指針を固めることができた。この際に列に並ぶ不安を解消するために必要な要素を洗い出し、使える技術を取り入れることで後期の活動の足掛かりとした。

図 5.1

人の検知

図 5.2

リュックを背負った人の検知

後期の活動では前期に取り入れた技術を活用することで試作品をいくつか開発した。図 5.1 や図5.2 のような人を検知するための技術をどのように活用できるか試行錯誤を行い、実際にデバイスへと落とし込んだのである。
そして実際に作成したデバイスを使用してもらうことで使用感や有用性について確認することができた。防災マルシェで実際に一般の方に使用してもらった際には、様々な課題に気づくことができた。その意見を素直に受け止め、今後の活動へと生かすことができたのである。
防災マルシェで得た経験をもとにデバイスを「追尾支援デバイス」と「最後尾発見デバイス」の二つに分けることで問題解決に取り組んだ。そして、10 月 20 日に行われた市立函館高校の学生に改善・改良したデバイスを使用してもらうことで新鮮な感想と使用感を再確認することができた。
しかし、時間が足りずにデバイスの魅力を完全に伝えることができなかったので発表方法に改善が必要だと認識することができた。この失敗を成果発表へと生かすべく発表方法の工夫とデモの改善、デバイスの調整を行った。その結果として我々が当初目標としていた成果へと至らなかったが今後の課題を明確にできた点とプロジェクト全体の目標である視覚障がい者や聴覚障がい者の方の抱える問題に当事者目線となって開発を行うということの重要性を学ぶことができた。
（※文責: 寺前 拓海）Group Report of 2023 SISP

- 26 -

Group Number 14-C

Daily Life Technologies for all

付録 A
抜粋)

中間発表で使用したポスター (一部Group Report of 2023 SISP

- 27 -

Group Number 14-C

Daily Life Technologies for all

付録 B

防災マルシェで使用したポスター

公立はこだて未来大学

DLITE2

GroupC

並ぶ不安を解消する列支援システム
こんな不安を解消！

？

視覚障がい者が抱える「列の前に並ぶ人との距離」や「人が進むタイミングを把握しにくい」といった不安を解消するため、列に並ぶための必要な情報を
視覚障がい者に伝えるデバイスの開発を行っています。
どんなものを作るのか？

❶ カメラで列の方向を認識して最後尾まで誘導する❷ 前の人が進んだとき距離センサで適切な距離まで誘導する
これらの機能を用いて視覚障がい者を並ぶ不安から解消します！

技術❶カメラを用いて人の姿を検知し、列の方向を捉え、最後尾を判断します。
最後尾に着くと装着者に音声や振動を用いて知らせます。
カメラやセンサーなどを内蔵したポーチを首から下げるデバイスを検討しています。

最後尾につきました！
検知した結果❷前の人との間を距離センサで検知し、一定以上の距離が空くと進むように振動センサで知らせます。また、前の人の座標から列の曲がりを捉えます。

今後の課題
・カメラだけでは列の認識が難しい
・処理が重くなりすぎてしまう・誘導の方法が限定されている学部3年 プロジェクト学習 菊池隼翔 田渕日奈子 寺前拓海 中本隼人

Group Report of 2023 SISP

- 28 -

Group Number 14-C

Daily Life Technologies for all

付録 C

成果発表会で使用したポスター

担当教員

Project NO.14

Faculty

三上貞芳 伊藤精英
宮本エジソン正AdvisorDlite2

Kiyohide Ito

Sadayoshi Mikami

アドバイザー

Edson T. Miyanoto

協力機関

函館視力障害センタ―

Organizations

Hakodate Visual Disabilities Institution

国立障害者リハビリテーションセンター

Daily Life Technologies for all

National Rehabilitation Center For Persons With Disabilities

北海道ろうあ連盟~ ディジタル技術で境界なく人々の生活を支援する ~発表評価シートのQRコード

Hokkaido Federation of the Deaf

Helping people without boundaries with digital technology

一般社団法人全日本難聴者・中途失聴者団体連合会

QR code on the presentation evaluation sheet

All Japan Association of Hard of Hearing and Late-Deafened People

西侑亮 尾田樹厘 多田賢太
Group A 木田至音
Shion Kida Ryosuke Nishi Juri Oda
Kenta Tada
I

Group B

山内玲奈

田口絵菜

秋元 一心

Rena Yamauchi Ena Taguchi Kokoro AkimotoGroup C

菊池隼翔

中本隼人

田渕日奈子

寺前拓海

Hayato Kikuchi Hayato Nakamoto Hinako Tabuchi Takumi Teramae

背景Background
本プロジェクトでは、「視覚や聴覚に頼れない状況でみんなが役に立つ装置の開発」をコンセプトに置き、視覚障がいや聴覚障がいを抱える方の問題を当事者目線で検討し、実用的な機能を持つ装置の開発を行っている。自身の感覚に頼れずに日々の生活に感じている不便さの解消
すること、危険を伝達して安全な生活を支援することを目標としている。
The concept of our project is "developing devices that are useful to everyone in situations where vision and hearing cannot be relied upon." Under this concept, we have investigatedinconveniences in dailiy life of impaired persons and tried to develop practical systems that will improve everybody's quality of life. This year's project puts emphasis on informing
dangers and supporting safe living.

Group A : 人を検知して光度を調節するライト
A light that detects people and adjusts its brightness

夜盲症などの視覚障がい者は、周りの状況を確認するためにライトを使うことが多いが、気づかずに人の顔に光を当ててしまうことがある。そこで、カメラから人の顔を認識して、ライトの光度を低くすることで光が目に入ってしまう人への影響を和らげるライトを開発した。このライトは視覚障がい者だけでなく、様々な現場で働く人や、夜活動することがある人にも役立つ。
Visually impaired people have diﬃculty recognizing people around them even when using lights, so they sometimes shine
the light on people's faces. Therefore, we are developing a light that recognizes a person's face from a camera and reduces
luminous intensity of the light to mitigate the eﬀect of the light on people whose eyes are aﬀected by the light. This lightwill be useful not only for the visually impaired, but also for people who work in various ﬁelds and who may be active at night.

↑ 光度を調節するライトLight to adjusts brightness

Group B : 背後からの接近を検知するシステム
System that detects approach from behind

聴覚障がい者が歩道を歩いている時に、後方から接近する人や自転車に気づくことは困難である。この危険な状況を解消するためにカメラと画像認識技術を用いて、後方にいる人の顔を検出し、振動によって利用者に危険を通知するデバイスの開発を行う。

↑ 後方の障害物をを検知するデバイス

When a hearing-impaired person is walking on a sidewalk, it is difficult to notice a person or bicycle
approaching from behind. In order to solve this dangerous situation, we will develop a device that
detects the face of the person behind us and notifies the user of the danger by vibration using
cameras and image recognition technology.

A device that detects obstacles behindGroup C : 視覚障がい者向け待機列支援システム← 一つ目のデバイスの装着例

Example of installation of the first device

Waiting line support system for the visually impaired

視覚障がい者の方は、日常生活において行列に並ぶことが難しいといった問題を抱えている。
これは、列の場所が把握できない、前方の人が進んだタイミングを把握することができないといった問題があるためである。これらの問題を解決するために我々は以下の二つのデバイスを開発した。
一つ目は、前方の人との距離を検出し、音や振動で装着者を誘導するといったデバイスである。
二つ目は、列の方向を検知し、最後尾まで装着者を誘導するといったデバイスである。
これらのデバイスによって視覚障がい者の方が一人であっても行列に並べるように支援する。

↓ 二つ目のデバイスの実行例
Executive example of the second device

People with visual impairments have problems that it is difficult to line up in everyday life. This is because there is a problem
that the row location cannot be grasped and the person in front cannot grasp the timing of progress. We have developed
two devices to solve these problems. The first is a device that detects the distance to the person in front and guides thewearer with sound and depth. The second is a device that detects the direction of the column and guides the wearer to theend. These devices will help you arrange a person with visual impairment even if you are alone.

Group Report of 2023 SISP

- 29 -

Group Number 14-C

Daily Life Technologies for all

付録 D

製作したプログラム

図 D.1

Group Report of 2023 SISP

追尾支援デバイスブロックプログラム- 30 -

Group Number 14-C

Daily Life Technologies for all

図 D.2

Group Report of 2023 SISP

最後尾発見デバイスブロックプログラム-M5 側- 31 -

Group Number 14-C

Daily Life Technologies for all

Group Report of 2023 SISP

- 32 -

Group Number 14-C

Daily Life Technologies for all

Group Report of 2023 SISP

- 33 -

Group Number 14-C

Daily Life Technologies for all

Group Report of 2023 SISP

- 34 -

Group Number 14-C

Daily Life Technologies for all

図 D.3

Group Report of 2023 SISP

最後尾発見デバイスブロックプログラム-ラズパイ側- 35 -

Group Number 14-C

Daily Life Technologies for all

付録 E

相互評価

田渕日奈子
・彼女はグループ全体をよく見ていてほしい時にほしい情報を的確に調べてくれていたり、全体の流れをまとめてくれていたりとグループリーダーとしての役割以上のことを行ってくれていました。
（寺前）
・彼女はグループリーダーとして、責任をもってグループ週報の作成や情報共有、教員とのコミュ
ニケーションを行ってくれました。また、作業の行程上グループ内でも２つに分かれることが何度かありその際はグループの方針や進捗を気にしたりまとめたり等も行ってくれました。（菊池）・彼女はグループリーダーとしての仕事をこなし、グループをまとめてくれました。また、必要な情報を収集する能力が高く、情報共有や効率的な作業によってグループに貢献していました。（中本）寺前拓海
・彼はグループだけではなくプロジェクト全体に関係する仕事を請け負ってくれました。最終発
表のポスターも手掛けてもらい、とても良い出来になって助かりました。また情報共有をしっかり行ってくれるので作業が円滑に進んで助かりました。
（田渕）
・彼はプロジェクト全体の仕事やコミュニケーションにおいてとても主体的に活動していた。グループ内でも積極的に仕事を探し請け負ってくれました。ポスター制作を快く引き受けてくれた
り、高校教師訪問の機会や最終発表の場面では進んで発表を務める姿勢に助けられました。（菊池）・彼は大変な作業を自発的に行い、グループだけでなくプロジェクト全体に大きく貢献していました。コミュニケーション能力が高く、グループの方針を定める上で重要な役割を担っていました。
（中本）
菊池隼翔
・彼は技術的な視野が広く、メンバーが出した案や情報に対して的確なアドバイスをくれたり積
極的に試行したりしてくれました。また期限のある提出物についていち早く報告してくれて、迅速な行動を心がけてくれるので助かりました。
（田渕）
・彼は私たちが積極的に調べた情報や技術を積極的に実行してくれる技術者といった存在です。
そのうえ、どうしたら現在の問題を解決できるのかを考え、徹底的に選択肢をつぶしていく実行力があるので非常に助かっています。
（寺前）
・彼はグループが取り組んでいる課題に向けて計画性を持ち、積極的に行動していました。行動力と状況を整理する能力が高く、私が問題に直面した場面で、その能力に何度も助けられました。
（中本）
中本隼人
・彼はプログラムコードの作成を率先して行い、修正や改善も的確に行ってくれました。また最終発表では実演係や補助を担当してもらいました。見に来た人に成果物をよりわかりやすく説明してくれてとても助かりました。
（田渕）Group Report of 2023 SISP

- 36 -

Group Number 14-C

Daily Life Technologies for all
・彼は調べものやコードの作成などグループの補助のような役割を率先して行ってくれていました。みんなの活動をつなぐ中軸となるような存在であった。（寺前）・彼は UIFlow や ArduinoIDE など様々なプログラミングソフトを活動し、常にコード作成を行ってくれました。気になる点を伝えるとすぐに修正してくれたり、新しい案を出したりなどコード製作の面で非常に助けられました。また、デバイス製作の面でも積極的に作業に取り組んでいま
した。
（菊池）

Group Report of 2023 SISP

- 37 -

Group Number 14-C

Daily Life Technologies for all

参考文献[1] OKdo, GETTING STARTED WITH ROCK, RASPBERRYPI,ARDUINO and MORE,
OKdo,https://www.okdo.com/gettingstarted/,(accessed June.2023).
[2] RaspberryPi ホームページ https://www.raspberrypi.com/ (2024/1/17 アクセス).
[3] OpenCV ホームページ https://opencv.org/ (2024/1/17 アクセス).
[4] UIﬂow https://ﬂow.m5stack.com/ (2024/1/17 アクセス).

Group Report of 2023 SISP

- 38 -

Group Number 14-C