公立はこだて未来大学 2022 年度 システム情報科学実習
グループ報告書
Future University Hakodate 2022 Systems Information Science PracticeGroup Report

プロジェクト名
DLITE: ディジタル技術で境界なく人々の生活を支援する

Project NameDLITE: Supporting People’s Lives Without Boundaries with Digital Technology

グループ名
化粧支援デバイスGroup Name
makeup support device
プロジェクト番号/Project No.

21

プロジェクトリーダ/Project Leader
赤石征也

Seiya Akaishi

グループリーダ/Group Leader
山田真那子

Minako Yamada

グループメンバ/Group Member
瀬川遥花

Haruka Segawa

西村彩希

Saki Nishimura

指導教員
三上貞芳 伊藤精英

AdvisorSadayoshi Mikami Kiyohide Ito

提出日2022 年 1 月 18 日

Date of Submission
January 18, 2022

概要
現代では化粧は身だしなみとされていたり、自分の外見により自信を持つことが出来るようになるツールとして多くの人に楽しまれているものである。それは視覚障がい者も同じである[1]。しかし、視覚障がい者にとって化粧は難易度が高く、一人で行うには不安な点が多い。視覚障がい者が化粧を行う際には、周囲の人に完成後の状態を確認してもらうことが多い。そこ
で、本プロジェクトでは視覚障がい者が一人でスムーズに化粧が行えるような化粧支援デバイスの開発を目的とする。特に、視覚障がい者が一人で家庭でも使えるようなデバイスを制作す
ることに重点を置くため、デバイスだけではなく、補助的な装置を製作することで一人での化粧の修正を可能にする。視覚障がい者にとって化粧をしづらいと感じるのはいくつかの要因がある。はみ出しやムラなどの大きなミスが自分では分かりづらい、眉毛や唇と肌の境界が触っただけでは判断しづらく口紅やアイブロウなどを塗るときにはみ出してしまいがちになる、などの点が挙げられた。これらの問題を解決できるような機能を搭載したデバイスを開発する。
画像認識を利用して顔の各パーツを認識し、唇や眉毛の領域を抽出、画像処理を施すことで、化粧のはみ出し検知や、より良いとされる化粧を指示する。これらは音声ガイドを利用して指示する。化粧に問題があるかどうかを利用者に伝えることで、化粧の修正に貢献する。また、化粧を義務的にしている人もいるが、楽しんで行う人も多い。化粧を楽しいと感じられる要素を作るために化粧支援の機能だけでなく、化粧の色バランスや日々の化粧の記録を行えるデバ
イスの開発を最終目標とする。
キーワード

視覚障がい者, 化粧, はみ出し, 画像認識, 音声ガイド（※文責: 山田真那子）-i-Abstract
Today, makeup is considered a form of grooming and is enjoyed by many people as atool to gain more conﬁdence in their appearance. The same is true for the visually
impaired [1]. However, for the visually impaired, makeup can be challenging, and there
are many concerns about doing it alone. When visually impaired people apply makeup,
they often ask others around them to check the state of the makeup after it is completed.
Therefore, the purpose of this project is to develop a makeup support device that enables
the visually impaired to smoothly apply makeup alone. Particular emphasis will beplaced on creating a device that can be used by a visually impaired person alone at
home. Therefore, not only the device but also auxiliary equipment will be produced toenable correction of makeup by a single person. There are several factors that make itdiﬃcult for the visually impaired to apply makeup. Major mistakes such as overﬂow andunevenness are diﬃcult for them to identify, and the boundaries between eyebrows, lips,
and skin are diﬃcult to judge just by touch, so they tend to overﬂow when applying
lipstick, eyebrow, and other products. We will develop a device with functions thatcan solve these problems. The device will use image recognition to recognize eachpart of the face, extract areas of the lips and eyebrows, and apply image processing
to detect overﬂow of makeup and provide instructions for better makeup application.
These instructions are given using voice guidance. By informing the user whether there
is a problem with the makeup, the system contributes to correcting the makeup. In
addition, while some people wear makeup out of obligation, many people do it for fun.
The ultimate goal is to develop a device that can not only function to support makeup,
but also to record the color balance and daily makeup application in order to create anelement of enjoyment in makeup.
KeywordVisually
ance,Monitor display

impaired,Makeup,Overhang,Image

recognition,Voice

guid-（※文責: 山田真那子）- ii -

目次
第1章

背景

1

1.1

該当分野の現状と従来例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.2

現状における問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.3

課題の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

到達目標

3

第2章

2.1

本プロジェクトにおける目的

2.1.1. . . . . . . . . . . . . . . . . . . . . . . . . . . .

通常の授業ではなく、プロジェクト学習で行う利点

3. . . . . . . . . . . .

3

2.2

具体的な手順・課題設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

2.3

課題の割り当て . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

第3章

課題解決のプロセスの概要

7

第4章

課題解決のプロセスの詳細

84.1

各人の課題の概要とプロジェクト内における位置づけ. . . . . . . . . . . . . . .

8

4.2

課題解決過程の詳細 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

新規習得技術13

5.1

口紅のはみ出し検知機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

5.2

眉毛の位置指示機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

結果

15

6.1

成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

6.2

成果の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

6.3

課題の評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

6.4

今後の展望と振り返り . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

相互評価

18

7.1

山田真那子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

7.2

西村彩希 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

7.3

瀬川遥花 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

その他製作物

20

第5章

第6章

第7章

付録 A
参考文献

24

- iii -DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第 1 章 背景1.1

該当分野の現状と従来例

視覚障がい者が一人で化粧を行い、完成した状態が満足いくものかを確認することは困難である。そこで、視覚障がい者が化粧を一人でスムーズに出来るように，ガイドメイク [2] やブライン
ドメイク [3] などの方法が用いられている。ガイドメイクは、株式会社資生堂が行っている視覚障がい者向けのメイク講座である。指を使い、顔のパーツの位置を意識しながら、化粧を出来るように指導するものである。また、10 月 23 日に札幌で行われた、花田真寿美氏による視覚障害者向け
メイクアップセミナーに参加したところ、講師が勧める化粧道具などを使うことで化粧がしやすくなることは考えられるが、化粧をするときに化粧品が自分の顔のどの部分にあたっているか分からないため化粧がしづらいという意見も出ていた。実際、講座を受けながら化粧をしてみてもアイブ
ロウなどがはみ出してしまう参加者もいた。結果としてこれらの講座は、視覚障がい者が化粧をやりやすくするための講座であり、日々の化粧の補助ではない。視覚障がい者が日常で化粧に抱いている不安を解消するには、個人が保有できるような製品の開発が必要だと考えられる。顔の位置を固定し、スマートフォンを使用して口紅のはみ出しを検出する先行研究 [4] もあるが、個人での利用のしやすさや実用の点において改善が必要と考えられる。
（※文責: 西村彩希）

1.2

現状における問題点

視覚障がい者は一人で鏡を使って化粧の確認を行うことが出来ない。確認の方法として、他者に化粧後に確認してもらうのが一般的である。そのため、一人で行う場合には化粧の過程で起こりが
ちな口紅、アイブロウのはみ出しやベースメイクにおけるムラの修正が困難となり、化粧に不安を覚える。メイク講座などを受講することで、ある程度メイクをやりやすくなると考えられるが、はみ出しなどのミスは晴眼者でもよくおこるため、講座だけでは補助できない。また、完成した化粧の出来栄えを確認することが出来ないため、他者からの評価が無いと、毎日の化粧を楽しむことがやや難しいと考えられる。
（※文責: 山田真那子）

1.3

課題の概要

化粧のはみ出しを検知し、音声ガイドによって化粧のミスの有無の確認を容易にし、視覚障がい者でもストレスなく一人で化粧を出来るようにする。特に、化粧においてはみ出しやすい、口紅のはみ出しや眉毛のアイブロウのはみ出しなどを優先して修正できる機能を搭載するべきである。また、下地やファンデーションなどのベースメイクを塗った際に生じる色むらを検知できるようにする。更に、化粧は毎日家で行うものなので、大掛かりな装置などで修正の支援が出来るようなもの
ではなくコンパクトで使いやすいデバイスである必要もある。また、修正する際にボタン操作など

Group Report of 2022 SISP

-1-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
も行わなければいけないため、視覚障がい者が使いやすいようなボタンなどの制作も必要になる。
また、最終的にミスの修正だけでなく、毎日の化粧を楽しめるような機能の実装をする。
（※文責: 山田真那子）

Group Report of 2022 SISP

-2-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第 2 章 到達目標
2.1

本プロジェクトにおける目的

視覚障がい者は、化粧を一人で行うことに不安を感じている。資生堂のガイドメイク講座 [2] においても、化粧が唇や眉からはみ出してはいないか、ベースメイクやファンデーションのムラが発生していないかなどの点を不安に感じる受講者が多い。また、視覚障がい者向けメイクアップセミ
ナーで視覚障がい者にインタビューしたところ、普段自分で化粧を確認することは出来ないため、周りの人に化粧に問題が無いかを確認してもらっている形をとっている。そこで、視覚障がい者でも、一人でスムーズに化粧を出来るような支援デバイスを開発することが本プロジェクトの目的である。デバイスのモニター操作と音声ガイドによって化粧の補助的役割を果たす。モニター操作や表示などを個人に合わせて見やすいものに変更できるようにすることで、多種多様な視覚障害に対応できるようにする。また、唇や眉などの化粧がはみ出しやすい箇所のミスの修正の支援を出来る機能の実装が必要になる。更に、化粧の補助的役割だけでなく毎日の化粧のモチベーションアップ
につながるような機能の開発も進めたい。化粧をすべて終えた後に化粧の出来栄えの採点やどの部分の化粧の出来が良かったかなどを伝える機能や、個人の肌の色などに合う化粧品の提案を出来るようにしたい。
（※文責: 西村彩希）

2.1.1

通常の授業ではなく、プロジェクト学習で行う利点

本プロジェクトでは、実際に障がい者が必要とするもの、または生活を豊かにするものを開発することが重要となる。そのため、通常の授業のように講義・演習を繰り返すのではなく実際に視覚障がい者や視覚障がい者の支援を行っている人々に話を聞くことで障がい者のが何に困っているのか、何があれば役に立つのかというのが理解できる。プロジェクト内でも、どのような制作物で障がい者への支援につなげたいかで意見が分かれるため、グループに分かれてそれぞれの目標とする制作物に取り組むことで自分たちが制作したいものに多くの時間をさける。また、講義を受講する
形ではなく、必要な情報や作業をグループで手分けして調査することが出来るため、効率的に開発を進めることが出来る。更に、自分たちで機能に合わせて必要な技術を学ぶことが可能なため、幅広い機能の考案が可能となる。
（※文責: 西村彩希）

2.2

具体的な手順・課題設定

視覚障がい者にとって、化粧の支援デバイスの機能として何を必要とするのかを考え、実現可能なものをピックアップしてデバイスの機能に搭載する。はみ出しなどのミス修正の支援では顔の各パーツを検知するために画像認識や画像処理の技術を利用する。また、視覚障がい者がデバイスを使いやすいように補助的な制作物の作成も行う。

Group Report of 2022 SISP

-3-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
1. 函館視力障害センターによる視力障害についての講座
課題：視覚障害にも種類や程度があることを学ぶ。また、視力障がい者の歩行補助の練習をした。視覚障害について理解を深め、視覚障がい者が利用して生活にプラスになるような制作物を考える。

2. 視覚障がい者への化粧支援の先行研究の調査
課題：視覚障がい者への化粧の支援デバイスはどのようなものが開発されているのかを調査する。画像処理などの技術を利用した研究は見受けられたが、それらを実用的でコンパクトなデバイスにしたものは少なかった。調査したもので、必要なものや参考になるもの、さらに開発できるものをグループ内で考える。

3. 化粧支援デバイスの機能の考案
課題：上記で述べたとおり、調査結果から自分たちが開発するデバイスにはどのような機能を搭載するかを話し合う。化粧のはみ出しなどのミス修正の支援、個人に合わせたモニター
表示、化粧の出来栄えの評価、個人の肌の色味に合った化粧品の提案などの機能が挙げられた。

4. 画像認識の学習
課題：化粧のはみ出しなどのミス修正の支援を行うにあたって、顔の各パーツを検知することが必要となったため、画像認識でそのような機能があるかを調べ、試行する。

5. OpenCV・カスケード分類器の利用
課題：OpenCV やカスケード分類器を利用することで顔のパーツの検出が可能となる。既存のカスケード分類器では顔や目などの認識が出来ることは確認できた。実際に使った時の検出の正確性や、既存のカスケード分類器では見つけられなかった鼻や口の検出をするため、口の写真を収集・カスケード分類器を作成する。

6. 企業との話し合い
課題：視覚障がい者向けのガイドメイク講座を行っている株式会社資生堂との話し合いを行う。視覚障がい者が化粧を行う上で何に困っているのか、化粧支援デバイスにどのような機能があれば便利かを聞く。また、現段階での自分たちの構想の中での、デバイスの機能は視覚障がい者にとって有用なのかを聞く。

7. デバイスの開発
課題：視野障害をもつ人向けに、モニターをタッチ操作することで画面内の顔を見やすい範囲に移動できる機能を搭載する。また、色覚障害をもつ人向けに画面の色を見やすいものに調整する機能も搭載する。化粧のはみ出しなどのミス修正の機能を搭載する。

8. アンケート実施及び解析、改善点の発見
課題：視覚障がい者にデバイスを使用しながら化粧をしてもらう。アンケートを行い、今後の改善点を発見する。

9. デバイスの改善、新たな機能の搭載
課題：アンケート調査で発見された改善点を修正し、必要であれば新たな機能を搭載する。

10. アンケート実施及び解析、改善点の発見（75 パーセント以上の好評価を得るまで 8-9 の繰り返し）（※文責: 山田真那子）

Group Report of 2022 SISP

-4-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

2.3

課題の割り当て1. 函館視力障害センターによる視力障害についての講座
担当：山田真那子・瀬川遥花・西村彩希
どのような制作物の作成を行うか考える段階だったため、全員で話し合いを行った。そこで、視覚障がい者は化粧の確認を一人で行えないのではないかという課題を解決できるような制作物を作成することに決めた。

2. 視覚障がい者への化粧支援の先行研究の調査
担当：山田真那子・瀬川遥花・西村彩希
先行研究の調査も、それぞれで調べてくる方が多くの調査を行えると判断し、全員で調査した。調査した先行研究を slack などで共有し、自分たちがどのようなデバイスの開発を行いたいのか、その開発にはどのような技術・知識が必要になるのかを話し合った。

3. 化粧支援デバイスの機能の考案
担当：山田真那子・瀬川遥花・西村彩希
化粧支援デバイスの機能の考案も全員で話し合った。全員が、視覚障がい者が一人で化粧の確認を行えるという当初からの目標を達成させるという認識であった。よって、はみ出しやムラの修正を指示できる機能の開発がメインになると考えた。また、それらの機能の開発が終わった際に、化粧を楽しめるような機能の搭載もしたいと考えた。毎日の化粧の出来を記
録・採点する機能や、個人の肌や唇の色味に合った化粧品の提案を行う機能の開発を最終目標とした。

4. 画像認識の学習
担当：山田真那子・瀬川遥花・西村彩希
化粧のはみ出しなどのミスの修正の支援のために、顔の各パーツを検知することが出来る画
像認識の技術を全員で調査した。調査の結果、OpenCV を利用している先行研究や、顔のパーツをカスケード分類器を利用して検知している例を見つけられたため、それらについてより深く理解することに努めた。

5. OpenCV・カスケード分類器の利用担当：山田真那子
カスケード分類器の利用は、画像認識の技術の調査と並行して行った。そのため山田と瀬川で分担して行った。既に配布されているカスケード分類器を利用して、顔や目などを検知出来ることを確認した。
担当：瀬川遥花
口のカスケード分類器を試作した。カスケード分類器を作成するにあたって、約 100 枚の口の写真を集めたが、精度が低く実用的ではないと判断した。

6. 企業との話し合い
担当：山田真那子・瀬川遥花・西村彩希
本プロジェクトでは、実際に視覚障がい者にとって有用なものを作ることが重要であり、自分たちが作りたいだけの物を作るべきではないと考えている。そのため、第三者の意見を取り入れるため、株式会社資生堂と話し合いを行った。話し合いには全員で参加し、今後の方向性を決めることが出来た。

7. デバイスの開発
Group Report of 2022 SISP

-5-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
担当：山田真那子
主にデバイスの開発では、Arduino と Python でシリアル通信を行わせ、ボタンの実装を行った。また、デバイスを使うにあたって、顔の向きが固定されないと画像認識が上手く反応しないことが分かり、顔の向きを固定する台の作成をした。また、PC のキーボードや市販のスイッチでは視覚障がい者にとって押しづらく、ボタンの判別も困難なため、押しやすい大きさで点字の付いたボタンを制作した。
担当：瀬川遥花
開発に参加した。画像認識、画像処理において補助的な役割を担った。
担当：西村彩希
開発を担当した。口紅のはみ出し検知の機能において、どのように画像処理を組み合わせて検知させるかを考案した。また、眉尻の適切な位置指示でも、顔の特徴点と画像処理を組み合わせることで機能を実装した。

8. アンケート実施及び解析、改善点の発見
開発に時間がかかってしまったため、アンケートの実施及び解析には至らなかった。

9. デバイスの改善、新たな機能の搭載
開発に時間がかかってしまったため、デバイスの改善、新たな機能の搭載には至らなかった。

10. アンケート実施及び解析、改善点の発見（75 パーセント以上の好評価を得るまで 8-9 の繰り返し）
開発に時間がかかってしまったため、アンケートの実施及び解析には至らなかった。
（※文責: 瀬川遥花）

Group Report of 2022 SISP

-6-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第 3 章 課題解決のプロセスの概要
課題解決のために考案したデバイスやその機能について、概要を各々記述する。

1. 視覚特性に合わせたスマート鏡
解決過程：目が見えてはいるが、輪郭がぼやけてしまっていたり、視界の一部しか見えていなかったりする弱視の方向けに、モニターをタッチ操作することで自分の顔を移動・拡大させる、モニターの色・明度を個人で設定できる機能を実装する。これらの機能により、弱視の方の視覚特性に合わせて、自分の顔を見やすくモニターに表示することを可能にする。

2. はみ出しなどのミス修正の支援
解決過程：視覚障がい者は、毎日化粧をするときにはみ出しているかどうかを自分で確認する方法がなく、安心して外に出ることが出来ない。この問題を解決するため、画像認識で顔のパーツを検知し、化粧のはみ出し具合を検出する。はみ出し箇所を音声やモニター表示で知らせる機能を実装する。この機能により、視覚障がい者が化粧をする時にはみ出しなどのミスをしていないか自分で確認することを可能にする。

3. 毎日の化粧の記録
解決過程：視覚障がい者は他者の評価を得られなければ、その日の化粧の出来の良し悪しを判断することが出来ない。そのため、化粧の各パーツのはみ出し具合などを記録し、数値で化粧の出来を採点できるようにする。また、使った化粧品を記録することで、別の日に同じような化粧をすることを可能にする機能を実装する。これらの機能により、視覚障がい者に化粧のやりがいを感じさせたり、日々の化粧のモチベーションアップを図る。

4. 色バランスの指示
解決過程：視覚障がい者は自分の肌の色に合った化粧品や、化粧品の色の組み合わせなどを考えることが難しいため、肌の色・パーツごとの色を抽出し、自分に合った化粧品や現在塗った化粧品に合った色を教えてくれる機能を実装する。これらの機能により、視覚障がい者でも自分の肌、顔のパーツの色、現在使っている化粧品に合った化粧品を選ぶことを可能にする。
（※文責: 瀬川遥花）

Group Report of 2022 SISP

-7-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第4章
4.1

課題解決のプロセスの詳細

各人の課題の概要とプロジェクト内における位置づけ

山田真那子の担当課題は以下のとおりである。

5月

視覚障がい者についての調査、視力障害センターとの交流、グループ分け

6 月 「ロボット型ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの情報交換会、V コンテの制作、口の画像収集、中間発表ポスター・中間発表スライドの制作

7月

株式会社資生堂との対談、中間発表会、中間提出物の作成

8月

夏季休暇期間中オンラインで今後の開発の予定の相談

9月

防災マルシェポスター制作

10 月 視覚障害者向けメイクアップセミナーへの参加
11 月 顔を固定する台、点字ボタンの制作、「ロボット型ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの交流会

12 月 成果発表会、期末提出物の作成
1月

期末提出物の作成

瀬川遥花の担当課題は以下のとおりである。

5月

視覚障がい者についての調査、視力障害センターとの交流、グループ分け

6 月 「ロボット型ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの情報交換会、V コンテの撮影、opencv を用いた画像認識の学習、口のカスケード分類器の制作

7月

株式会社資生堂との対談、中間発表会、中間提出物の作成

8月

夏季休暇期間中オンラインで今後の開発の予定の相談

9月

防災マルシェポスター制作

10 月 視覚障害者向けメイクアップセミナーへの参加、口紅のはみ出し検知プログラムの制作
11 月 口紅のはみ出し検知、眉毛の位置指示プログラムの制作、「ロボット型ユーザインタラク
ション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロ
ジェクトとの交流会

12 月 成果発表会、期末提出物の作成
1月

期末提出物の作成

西村彩希の担当課題は以下のとおりである。

5月

視覚障がい者についての調査、視力障害センターとの交流、グループ分け

6 月 「ロボット型ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの情報交換会、V コンテの制作、OpenCV を用いた画像認識の学習、中間発表スライドの制作

7月

株式会社資生堂との対談、中間発表会、中間提出物の作成

Group Report of 2022 SISP

-8-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
8月

夏季休暇期間中オンラインで今後の開発の予定の相談

9月

防災マルシェポスター制作

10 月 口紅のはみ出し検知のプログラムの制作
11 月 口紅のはみ出し検知、眉毛の位置指示プログラムの制作、点字ボタンの制作、「ロボット型
ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの交流会

12 月 成果発表会、期末提出物の作成
1月

期末提出物の作成（※文責: 瀬川遥花）

4.2
5月

課題解決過程の詳細
視覚障がい者についての調査を重ねた結果、視覚障がい者も日常的に化粧を行うことを知り、支援が必要なことが分かった。実際に目を閉じて化粧をしてみることで、視覚障がい者が化粧をするときの課題を発見した。
視力障害センターとの交流会を行うことで、視覚障がい者についての現状や課題について学ぶことができた。視覚障害には弱視や全盲、視野障害など様々な種類があることを知り、実際にそれを体験できるゴーグルでそれらの障害によって見え方がどう変わるかを理解した。

6 月 「ロボット型ユーザインタラクション-これから必要とされる技術である店員/案内ロボットを未来大で作り育てる-」プロジェクトとの情報交換会では、V コンテを作成することでわ
かりやすくアイデアを他者に伝えることや、段階的に目標を設定することで目標に優先順位をつけることができ、実装の見通しが立てやすくなることを学んだ。そのため、中間発表会に向けてわかりやすく他者にアイデアを伝えるために V コンテの制作を決めた。見た人が実装する予定の機能について想像できることを目標にし、動画撮影・編集を行った。また、実装する予定の機能を段階的に目標設定を行った。

図 4.1

店員ロボットプロジェクトとの情報交換会

機能に実装するために必要な、OpenCV を用いた画像認識の技術の基礎を学んだ。画像をグレースケールに変換、リサイズして保存するなどの基本的なものから、パソコンのカメラを用いて写真を撮りその写真をキャニーフィルターにかけて輪郭を抽出するなど応用的なもGroup Report of 2022 SISP

-9-Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technologyのまで作成した。実際に口の写真を約 150 枚撮影し、口のカスケード分類器を作成した。結果、実際に活用できる精度の口のカスケード分類器を作るには画像が足りず、さらに膨大な枚数の口の画像が必要であることが分かり、別の方法で口のカスケード分類器を作成する方法を試すことにした。

図 4.2

7月

口のカスケード分類器の実行写真

株式会社資生堂はガイドメイクの講座を行っており、本プロジェクトで作ろうとしている
デバイスが視覚障がい者にとって必要かなどの質問を行った。対談で分かったのは、視覚障がい者が一番化粧において不安を覚える点は、化粧のはみ出しやムラなどのミスを自分では確認できないことであった。これは開発の一つの機能として考えていたものなので、そのまま開発の方向性を固めることが出来た。また、化粧を視覚障がい者と実際に意見交換する必要があることを指摘された。

図 4.3

株式会社資生堂との相談会

中間発表会はスライド、ポスター、V コンテを作成して行った。プロジェクトではグループ
ごとに V コンテと質問ができるブースを設けたため、それぞれィードバックを受けるでき、
今後の開発に活かせそうな意見を得られた。また、作成した V コンテによってアイデアをイメージしやすかったという意見や、発表方法がわかりやすいと言っていただくことができGroup Report of 2022 SISP

- 10 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
た。しかし、台本を読み過ぎているため声が聞き取りづらいという意見もあった。

図 4.4 V コンテ

８月

夏季休暇期間に今後の開発の予定の相談を行った。その結果、夏休み期間中に唇領域で画像を作成することを目標とした。

９月

9 月 23 日防災マルシェが行われた。ポスターを作成し展示した。

１０月 口紅のはみ出し検知の開発、色領域、Canny フィルターなどの方法を試したが検知することは出来なかった。ランドマークの試用のために必要な dlib のインストールができず環境
を VScode に変更。dlib を利用することで、正面写真を撮ること・顔の特徴点の抽出が可能となった。また、有限会社トータルケアサービス「いちごいちえ」主催の、花田真寿美氏による視覚障がい者向けメイクアップセミナーに参加した。

図 4.5

視覚障害者向けメイクアップセミナー

11 月 口紅のはみ出し検知、眉毛の位置指示機能、点字ボタンの制作、顔を固定する台の制作を行った。口領域の写真の加工では、マスク画像の生成、ピクセル比較、写真の合成などを行った。口紅のはみ出し検知の機能の実装が完了したため、眉尻の適切な位置指示の機能の開発を行った。ランドマークを用いて開眼、閉眼写真を撮ることで眉の正しい領域を抽出できた。小鼻・目尻との位置関係を考慮して眉尻の適切な位置指示の機能も実装出来た。まGroup Report of 2022 SISP

- 11 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
た、画像認識で顔のパーツを安定して認識させるために顔の位置を固定する台を制作した。
こちらは色が画像認識に影響することが分かったため、台の色を茶色から白に変更した。また、視覚障がい者が操作しやすいように、点字付きのボタンの制作も行った。12 月の成果発
表会に備え、資料作成やでも動画の作成、発表練習を行った。また、店員ロボットプロジェ
クトとの交流会を行い意見交流をした。

12 月 成果発表会に参加した。成果発表会のフィードバックを受けて、改善点や今後の展望などについて話し合った。

図 4.6

1月

成果発表会の様子

期末提出物の作成を行った。
（※文責: 西村彩希）

Group Report of 2022 SISP

- 12 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第 5 章 新規習得技術
課題解決過程に習得した技術とその概要、使用した箇所などについて記述する。

5.1

口紅のはみ出し検知機能

1. 特徴点（ランドマーク）の抽出
C++ のライブラリである dlib を用いて顔の特徴点 (ランドマーク) を検出する技術である。
この機能では、そのうち鼻の特徴点を用いて正面かどうかを判断した。また、口の特徴点を用いて顔全体の画像から口領域の画像を生成した。

2. マスク画像の生成
マスク画像とは特定の部分のみを表示（抽出）し、それ以外の部分を表示しない（黒色画像または白色画像）ようにするマスク処理を施した画像のことをいう。この機能では、真っ黒な画像を口領域の画像と同じ大きさにトリミングし、その上に口の特徴点を繋げた図形を白色で塗りつぶし、マスク画像を生成した。

3. 二値化処理、hsv 処理、色領域の抽出
二値化処理とは、分析対象の画像を白と黒の 2 色のみに変換する画像処理である。HSV 色
空間とは、「色相 (Hue)」「彩度 (Saturation)」「明度 (Value)」の 3 つの組み合わせで色を表現する手法であり、RGB よりも明るさが変動する場合でもうまく色抽出をすることができる技術である。この機能では、口領域の画像に二値化処理を行った画像に、HSV で範囲を指定することで、口領域の画像から唇の色領域をを抽出し唇の色領域の画像として保存した。

4. 画像の合成
画像の合成とは 2 つ以上の異なる写真を組み合わせて、新しい 1 つの画像を作ることである。この機能では、唇の色領域の画像に真っ白な画像をマスク画像の輪郭の範囲で張り付けることで、口紅のはみ出している部分のみが写っているいる画像を生成することができる。
この画像を化粧をする前と化粧をした後の画像それぞれにおいて生成し比較用画像とした。

5. 画像のピクセル比較
ピクセル比較とは 2 枚の画像の同じ座標のピクセルを 1 つ 1 つ比較し、違うピクセル数を数えることでどのくらいの割合が異なっているかを計算することができる技術である。この機能では、画像の合成で生成した化粧をする前と後の比較用画像を dlib の特徴点を用いて上唇、下唇の画像に切り、その後上唇の 2 枚の画像をピクセル比較し、全体のピクセル数と色が違うピクセル数を比較することで画像の違う割合を求めた。下唇の場合も同様に行った。またこの割合に基準を設け、口紅がはみ出しているかどうかを判断した。
（※文責: 瀬川遥花）

5.2

眉毛の位置指示機能

1. 特徴点（ランドマーク）
C++ のライブラリである dlib を用いて顔の特徴点 (ランドマーク) を検出する技術であGroup Report of 2022 SISP

- 13 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
る。この機能では、そのうち鼻の特徴点を用いて正面かどうかを判断した。また、眉毛の特徴点を用いて顔全体の画像から眉毛領域の画像を生成した。

2. コーナー検出
コーナーとは、2 つの線の交点だったり四角形の頂点のようなエッジのことを指している。

OpenCV の goodFeaturesToTrack 関数を用いることで簡単にコーナーを検出することができた。この機能では、この goodFeaturesToTrack 関数を用いて眉毛のコーナーの点を抽出し、そのうち一番外側にある点（自分から見て右眉なら右端、左眉なら左端）を眉尻の点として抽出している。顔の特徴点（ランドマーク）のうち小鼻、目尻計 3 つの点を用いて一般
的に黄金比と呼ばれる眉尻の位置の点とこのコーナー検出で抽出した眉尻の点を比較することで眉毛の位置指示を可能にした。
（※文責: 瀬川遥花）

Group Report of 2022 SISP

- 14 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第 6 章 結果
6.1

成果

最初に、視覚障がい者にとって化粧が難しく感じる点を調査し、それらを改善できるような機能を自分たちで考案した。考案した機能の実現が出来るような視覚障がい者向けの化粧支援デバイスの制作を行った。制作にあたって、画像認識・画像処理などの知識を習得した。実装出来たデバイスの機能は、口紅のはみ出し検知と眉尻の適切な位置指示の２つとなった。当初カスケード分類器などを利用して顔のパーツの認識を行う予定であったが、カスケード分類器の作成には膨大な量の唇の写真が必要なことが分かり、自分たちで集められる写真の量では画像認識の精度が芳しくないと考えられるためカスケード分類器の利用は中止した。唇を認識させる機能を探すのに時間がかかってしまったが、dlib を用いて顔の特徴点を抽出できることに注目し、唇の領域抽出は安定して行えるようになった。抽出した唇の領域の画像に対してマスク画像の生成や hsv 処理などを行うことで、唇に口紅を塗る前と塗った後での比較をすることが出来、それらの違いが何パーセントであるかを出力させた。機能の実装に時間がかかってしまったため、何パーセント以上の違いがあれば、人が口紅がはみ出していると認識するかを検証するべきであった。制作したデバイスでは、25パーセント以上の違いがあった場合はみ出していると音声で利用者に伝える仕様になっている。この機能の実装において最も困難だったのは、唇の輪郭抽出であった。下唇と肌の境界は色でははっきりとしていない場合が多く、画像認識で見つけ出すのが難しかった。眉尻の適切な位置指示の機能では、OpenCV を用いてコーナーを検出し、そのうち眉尻に該当する座標の点のみを抽出する。
次に、口紅のはみ出し検出の機能でも利用した特徴点を使う。小鼻・目尻の特徴点を結んだ直線と眉尻の点の距離を計算し、この距離が大きい時に眉尻の位置が適切でないと判定する。この機能の改善点は、直線が眉尻の内側と外側のどちらに存在するかの判別がつかないため、眉が短すぎるのか長すぎるのかの判断が出来ない点である。距離だけでなく座標を計算することで、正か負を見分けることで判断が出来ると考えられる。デバイスの制作だけでなく、顔を固定する台や点字のボタンの制作も行った。顔を固定しない場合、写真を撮る際に晴眼者でも正しい顔の向きにするのが難
しく、視覚障がい者に正しい顔の向きにしてもらいやすいように台の制作を行った。台の色が画像認識に影響を及ぼすことが分かったため、台の色は白にした。また、今回のデバイスの開発は PC
上で行ったため、シャッターをキーボードで押してもらわなければいけない仕様になっていたが、視覚障がい者がキーを選んで押すことは困難と考え、Arduino を利用したボタン操作を可能にした。ボタンをレジンで製作することで、押しやすく点字が書いてあるものに出来た。
（※文責: 山田真那子）

6.2

成果の評価

株式会社資生堂から意見をいただき、また視覚障害者向け化粧セミナーに参加したことで実際に視覚障がい者にどのような支援を行われているかを把握し、視覚障がい者に化粧のどのような点で困っているかを直接聞けたため、本当に視覚障がい者が必要としている機能の考案・開発を行えた。主に、口紅のはみ出し検知や眉毛の適切な位置指示の実装を行えたため、化粧の補助的機能をGroup Report of 2022 SISP

- 15 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology
予定通り搭載できたのは良かった。しかし、当初は使いやすいデバイスの開発を目標としていたが機能の実装に時間がかかってしまい PC 上での開発までしか行えなかった。特に、唇の領域抽出に時間がかかってしまったため、同時並行で他の機能の実装も進めるべきであった。また、安定した精度で画像処理するために顔を固定する台などを作ったため、台と PC を用意しなければ使うことが出来ないため、考えていたような家で毎日使えるデバイスの制作には至らなかった。また、

もう一つの目標であった、化粧を楽しませるような機能の実装にたどり着けなかった。今後残されている課題としては、個人で使いやすいデバイスにする、ミスの修正だけでない機能の搭載などが挙げられる。また、実験をあまり行えなかったため、実際に視覚障がい者に使用してもらう機会を設けたい。
（※文責: 山田真那子）

6.3

課題の評価

1. 視覚障がい者への化粧支援の先行研究の調査
調査結果から、視覚障がい者の方は日常的に化粧を行うが、自分で顔を確認することができないことから支援が必要であることが分かった。

2. 化粧支援デバイスの機能の考案
調査結果を参考に、第 3 章で記述した、視覚特性に合わせたスマート鏡、はみ出しなどのミス修正の支援、毎日の化粧の記録、色バランスの指示の 4 つの機能を考案した。

3. 画像認識の学習
OpenCV を用いた画像認識の技術について調べたところ、Canny フィルターを用いること
で物体の輪郭を線画することが可能であるということ。また、カスケード分類器を用いることで顔のパーツを認識し、パーツだけを抽出できることが分かった。これらの技術を用いる
ことで顔の各パーツにフォーカスし、輪郭を検出することが可能であることがわかった。

4. OpenCV・カスケード分類器の利用口の写真を 150 枚収集し、カスケードファイルの作成を試みたが、実用的な制度とは程遠い精度のものしか制作できなかった。

5. 企業との話し合い（株）資生堂との話し合いで、はみ出しやムラなど大きなミスを指摘してくれる機能が最も必要とされており、我々が作ろうとしていたデバイスが視覚障がい者に必要とされていることを確認することができ、予定通り実装することを決めた。

6. デバイスの開発
プロジェクト学習で開発を行った結果 PC 上で使えるシステムの制作を行うことができた
が、デバイスとして実装することができなかった。

7. アンケート実施及び改善点の発見
実際に視覚障がい者に使ってもらうことができず、アンケートを実施することはできなかった。

8. デバイスの改善、新たな機能の搭載
デバイスの実装を行うことができなかったためタッチパネルを用いたデバイスの実装が課題である。また、新たな機能の搭載として、デバイスの実装を行った後に、視野障害の方向けのモニターをタッチ操作することでで自分の顔を見やすい範囲に移動する機能と、色覚障害

Group Report of 2022 SISP

- 16 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technologyを持つ人向けに画面の色を見やすいものに調節する機能の 2 つの機能の搭載を考えている。
また、自分に似合う化粧品・化粧品の色を提案してくれる機能、所持している化粧品を登録する機能、化粧全体の色バランスを判断する機能、毎日の化粧を記録し前日と比較して評価
したり点数表示をする機能といった化粧を楽しめるような機能も新たな機能として挙げられる。

9. アンケート実施及び解析、改善点の発見
実際に視覚障がい者に使ってもらうことができず、アンケートを実行することができなかったため、アンケートの結果から好評価の割合を得て解析、改善点の発見を行うことが出来なかった。
（※文責: 瀬川遥花）

6.4

今後の展望と振り返り

開発当初から考案していたタッチパネルを用いた鏡型のデバイスの開発を行うことができなかった。そのため、視野障害の方向けのモニターをタッチ操作することでで自分の顔を見やすい範囲に移動する、色覚障害を持つ人向けに画面の色を見やすいものに調節するといった 2 つの機能の実装を行うことができなかった。さらに、視覚障がい者が化粧を楽しめるような機能を追加することでよりよい物にすることができると考えた。具体的には、自分に似合う化粧品・化粧品の色を提案してくれる機能、所持している化粧品を登録する機能、化粧全体の色バランスを判断する機能、毎日の化粧を記録し前日と比較して評価したり点数表示をする機能などを考えている。また、成果発表会でいただいた意見から、実際に視覚障がい者の方に試しに使って頂いて意見をもらったり、自分達で目を瞑って使ってみることで、システム・デバイスの問題点を洗い出しより使いやすいものへと改良していく必要性があると感じた。以上の点から、視覚障がい者向け化粧支援デバイスは今後
さらなる機能の追加や問題点を解決していくことにより、より便利なデバイスとなり実際に活用できるものになると考えられる。
（※文責: 瀬川遥花）

Group Report of 2022 SISP

- 17 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

第7章

相互評価

成果を振り返ってみて、課題解決過程で分担し、連携した作業全般について、互いに客観的に評
価する。

7.1

山田真那子

主に顔を固定する台や、ボタンの実装などシステム以外の制作を頑張って進めてくれた。実装する上で Arduino など新しい知識にも挑戦していた。どうしたら安定して写真が撮れるかや、画像処理が上手くいくかを考えて制作に取り組んでくれたため、成果物が上手く作動した。また、リーダーとして開発するシステムの方向性などを話し合ってくれたため、開発がしやすかった。
（※文責: 西村彩希）
顔を固定する台の制作や、点字ボタンの制作・実装を頑張ってくれていた。顔を固定する台の制
作では、設計から制作まで責任を持って取り組んでくれ、制作途中よりよいものにするために実際に使用してみたり、相談したりと安心して制作を任せることができた。点字ボタンの制作では、Python のプログラムとボタンを接続するために、arduino のプログラムを書いたり、配線を行ってくれたと共に、UV レジンを使用しての点字ボタンの制作まで一連の作業を担ってくれていた。
私は細かいパーツの制作などの器用さが求められる作業が苦手であるため、苦手な部分をカバーしてくれたことで効率的に制作を進めることができたと感じた。
（※文責: 瀬川遥花）

7.2

西村彩希

主に、機能の実装において大きな役割を果たしてもらえた。意欲的にプログラミングに取り組んでくれたおかげで、プロジェクトの活動がしっかりと進行した。口紅のはみ出し検知や眉尻の適切な位置指示などの機能を主力となって開発しており、デバイス開発に尽力してくれた。また、動画の編集の役割もこなしてくれていた。1 年間の活動を通して意欲的にプロジェクトに参加しており、制作物をより良くする姿勢を貫いていた。デバイスの制作において、視覚障がい者が使いやす
いように点字のボタンを作成しようと提案した。これによって、視覚障がい者が使いやすいモノづ
くりをすることが出来た。上記のように技術的な面で大きく貢献してくれていたが、プロジェクト
内での意見交換など、協力の姿勢も素晴らしかった。言うべき意見を積極的に出してくれていたおかげで、グループ内で意見を言いやすい雰囲気をつくっていた。
（※文責: 山田真那子）
口紅のはみ出し検知機能・眉毛の位置指示機能のシステム実装する等プログラミング作業や制作
アイデアの考案を頑張ってくれていた。それぞれの機能について、最初にどのような技術が必要か考え、必要な技術を学び実行してみて実際に使えるか試してみたり、エラーが起こっていた部分を自分で解決してきてくれたりと、システムのプログラミング作業において、なくてはならない存在

Group Report of 2022 SISP

- 18 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technologyになっていた。また、点字ボタンについて制作イメージをたて、ボタンの設計について、どの素材を使うか、何で型取りをするかなどを考案してくれた。今回のプロジェクト学習において、システ
ムプログラミングや制作物と幅広く、かつ最も活躍してくれたと感じた。
（※文責: 瀬川遥花）

7.3

瀬川遥花

技術面で大きく貢献してくれた。授業での経験を活かし、プロジェクトでの開発に意欲的に参加していた。初期の段階での、唇の領域抽出にカスケード分類器が使えるか検証していた時期に、積極的にコードを実行し、実験をしてくれた。また、技術面だけでなく、グループ内での話し合いにも積極的に参加しており、常に意見を出してくれる立場だった。意見は的確なものが多く、プロジェクトの進行に良い影響を及ぼしてくれていた。デモ動画や発表資料作成にも積極的に参加した。
（※文責: 山田真那子）
開発において貢献してくれた。開発をしていて分からない時に相談に乗ってくれたり、一緒に問題を解決しようと動いてくれた。実際に、一緒に作っていく上で開発のスピードが上がりシステムに機能をつけることができた。的確に開発の意見を言ってくれるため、とても開発が進めやすかった。また、発表スライドの作成やデモ動画のコンテなど積極的にチームに貢献してくれた。
（※文責: 西村彩希）

Group Report of 2022 SISP

- 19 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

付録 A

その他製作物図 A.1

Group Report of 2022 SISP

中間発表ポスター- 20 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

図 A.2

Group Report of 2022 SISP

顔を固定する台- 21 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

図 A.3

Group Report of 2022 SISP

点字ボタン

- 22 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

謝辞
本プロジェクトを遂行するにあたり、株式会社資生堂、函館視力障害センター、有限会社トータ
ルケアサービス「いちごいちえ」の協力を得た。

Group Report of 2022 SISP

- 23 -

Group Number 21

DLITE: Supporting People’s Lives Without Boundaries with Digital Technology

参考文献[1] 奈良里紗, 山本紗未, 渡辺和弘, 村上卓也, 岩池優希. ”視覚障害女性の化粧に関する実態調査”.
December, 2015[2] 株式会社資生堂. ”資生堂 身だしなみ講座 ガイドメイク 化粧法の”コツ”をつかんで「自信を、笑顔に。
」”.(参照 2022.7) https://corp.shiseido.com/seminar/jp/guide-makeup/index.html[3] 一 般 社 団 法 人 日 本 ケ ア メ イ ク 協 会. ”ブ ラ イ ン ド メ イ ク に つ い て”.(参 照 2022.7)
https://caremake.jp/about/[4] 石切山順一, 鈴木健嗣. ”口紅塗布唇の状態提示に基づく視覚障がい者のための化粧支援インタフェース”. ヒューマンインターフェース学会論文誌, Vol.22 No.3,2020.

Group Report of 2022 SISP

- 24 -

Group Number 21