情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-972024/2/28

拡大表示による化粧時間の短縮を支援するスマートミラー
瀬川視音†1

田尻彩夏†1

飛田博章†1

概要：多くの女性は身だしなみや社会のマナーとして化粧をすることが社会的に求められているが，化粧には時間がかかる．例えば，アイメイクなどの細かい化粧や，化粧品と化粧道具の持ち替えがあるが，従来の等倍の鏡では解決が難しい．そこで本研究では，化粧時間削減を支援するスマートミラーを提案する．提案システムでは，ハーフミラ
ーにディスプレイを用いたスマートミラーと，複数台のカメラ使用する．ユーザー正面に設置されたカメラを入力に，顔認識，指認識を用いて化粧中の箇所を判定し，周辺を拡大する．また，机の上に設置されたカメラを入力に，机上の化粧品を探しやすくするために台形補正と指認識を利用した指先周辺の拡大を行う．本論文では化粧における時短を支援するスマートミラーのデザインと実装方法について述べる．

1. はじめに支援することができる．自分の姿を映す鏡に，コンピュータを組み合わせることで，化粧をより短時間で行えるよう現代の多くの女性は身だしなみや社会のマナーとして日な機能を実装した．システムは，ユーザー正面に設置され常的に化粧を行っている．ポーラ文化研究所のアンケート

たカメラを入力に，顔認識，指認識を用いて化粧中の箇所

調査によると，「自分にとってメークはどのようなことか」を判定し，周辺を拡大する．加えて机の上に設置されたカを質問したところ，女性の回答として，「人への印象を良くメラを入力に，見え方が肉眼に近づくように台形補正を行すること」が 31.2%，「社会のマナー，礼儀に近いこと」がい，机上の化粧品を探しやすくするために指認識を用いて29.7%と上位の回答になっている．[1]また，ポーラ文化研

指先の拡大を行う．処理結果は図 1 のようにミラー上に提究所が 2020 年 10 月 30 日～11 月 4 日に行った別の調査で示する．本論文では化粧における時短を支援するスマートは，女性 1,121 人の朝（1 日のはじめ）に行う平均メーク時

ミラーのデザインと実装方法について述べる．

間が，新型コロナウイルス感染症の流行する前で 13.79 分，調査日時点で 12.63 分となっている[2]．メーク頻度が減った人の減った理由上位として「人と会う機会が減った」「外出が少なくなった」「マスクすることで顔が隠れる」が上げられているため，新型コロナウイルス感染症の５類感染症移行にともない，再びメーク時間が増加すると考えられる．
これらのことから，多くの女性が毎朝，出社前などの限られた時間内で，化粧に 15 分弱をかけていることが窺える．
この化粧にかかる時間を短縮することで，生活にゆとりを生むことができると考えられる．
化粧をする際に時間がかかる要素として，化粧工程内の時間，化粧工程間の切り替え時間の 2 要素がある．化粧工
程の内，アイメイクなどの細かい化粧が求められる工程は時間がかかる．少しのズレや顔全体とのバランスが仕上がりに大きく影響するため，時間をかけて丁寧に化粧をする必要がある．各化粧工程ではそれぞれの化粧品，化粧道具を使用するため，工程間の遷移時には必ず探して持ち替え

図 1

スマートミラーシステム

る動作が発生し，時間がかかる．しかし，これらは従来の等倍のミラーだけでは対応が難しい．従って，化粧の時短を実現するためにミラー自体のデザインが重要となる．

2. 関連研究

そこで本研究では，化粧の時短を支援するためのスマー

本システムは，化粧の時短を目的に化粧対象と手元を同トミラーを実現した．通常の鏡は自分自身のみが映るが，時に拡大表示することに特徴を持つ．以下に本システムと鏡に追加の情報を表示することで，ユーザーの化粧作業を関連する化粧支援システムについて述べる．

†1 東京都立産業技術大学院大学© 2024 Information Processing Society of Japan617

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-97
2024/2/28

鏡とコンピュータを連携する手法は，ハーフミラーとデシステムを利用するために，使用者の顔の正面の高さにィスプレイを組み合わせるスマートミラー手法と，カメラなるよう，高さ 25cm の台に配置している．また，手元カで捉えた映像をディスプレイに表示することで鏡の働きをメラは手元全体が映るように机から 65cm の高さに配置しさせる電子鏡台手法がある．メイクアップを支援する電子ている．

鏡台[3]は，ディスプレイとカメラを鏡として活用しより化粧が楽しくなるような電子的な鏡台を実現している．メイ
クブラシにカラーマーカをつけ，マーカを検出するとカメラの映像がメイク箇所へ自動的にズームする機能などが実装されている．ヘアアイロンによるヘアアレンジの難しさに着目し，お手本の操作軌道を電子鏡台上に提示するシス
テムも提案されている[4]．ヘアアイロン上のマイコン，加速度センサやカメラ情報をもとに，ユーザーのヘアアレンジ進度に合わせた操作軌道の提示ができる．
鏡以外のシステムとして，ライフログを用いた化粧支援システム[5]は RFID タグを活用して化粧ログを記録し，他者と共有することで化粧のバリエーションの増加を提案している．肌色分析によるメイクアドバイスアプリケーションの開発[6]は，自分に顔に適した化粧の色を簡単に知ることができる電子鏡台を実装している．カメラで取得した画像から顔を検出し，パーソナルカラー診断であるベースカラーの判定を行う．ARDryer[7]は，ヘアドライ中の髪の温度をスマートミラー上で視覚化することで，適切なドライヤーの利用を支援している．鏡に映るユーザーの頭の周囲に温度を提示するため，髪のどの部分にどの程度熱が加わっているかを一目で確認できる．

3. システム概要
システムはハーフミラーによるミラーデバイスと画像処理による情報提示手法に大別される．それぞれに関して，

図 2

ハードウェア構成

3.2 情報提示手法
情報提示方法として，図 3 に示すように自動拡大表示，プロトタイピングシステムの詳細を述べる．

手元表示の 2 機能を実装している．ソフトウェアは Python

3.1 ミラーデバイスで実装し，カメラ映像の画像処理は OpenCV をベースに，ハードウェア構成を図 2 に示す．スマートミラーのプロ
トタイプは，15.6 インチのモバイルディスプレイに，透過顔認識，指認識に Mediapipe を用いている．画像処理は PC上で実行され，30fps 弱で画像処理が行われる．

率 30%のハーフミラーを重ね合わせて実現している．ハーフミラーの透過率が上がると，表示映像が明るくなるが，鏡としては自分の顔が見えにくくなる．ディスプレイとハーフミラーは 3D プリンターで作成したフレームにより固定している．フレームはカメラを取り外しできるようにデザインされている．また，フレームには LED が取り付けられていて，明るさのコントロールが可能となっている．LEDは 50 ルーメンのカラー表示をサポートしている．
このミラー型のディスプレイに加え，2 台の Web カメラをディスプレイ外部に配置している．1 台目は正面カメラ
で，主に化粧をしている人の顔を撮影するために用い，もう 1 台は手元カメラで，化粧品が置いてある場所を俯瞰的に撮影する．ミラーデバイスと 2 台のカメラはそれぞれ PCに接続され，カメラで得られた画像を処理し，ディスプレイに表示する．

© 2024 Information Processing Society of Japan

図 3

自動拡大表示と手元表示

618

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 4

1P-97
2024/2/28

アイメイクの際に自動拡大表示と手元表示

3.2.1 自動拡大表示

手元の映像をスマートミラー上で表示する機能を実装した．

自動拡大表示は指先部分を拡大表示する機能で，細かい下を向いて化粧品を取る目線移動の時間削減を目指した．

化粧作業を支援する．システムが指先を認識し，指先部分手元カメラで机の映像を撮影し画面上で表示する．手元が画面左側に拡大表示される．例えば，目をさすと目を中

カメラの映像は，カメラ位置が自分の顔の高さと異なるた心に周辺部分が拡大表示される．

め，肉眼で見た映像とは差異がある．そこで，台形補正をアイメイクは細かい化粧が必要であることから，時間が行い，より机の様子を把握できるように加工を行う．

かかるパートである．通常の鏡のみでアイメイクを実施す

また，化粧品の外形が類似している場合，化粧品の同士る場合もあるが，細かい箇所を確認するために，自分の顔が近くに配置されている場合に，次に使う化粧品の位置をを近づける必要がある．こうした問題への対処法としては，等倍の映像だけで把握することは難しい．このため指認識補助的に拡大鏡を利用する場合がある．しかし，アイメイを用いて，人指し指の指先周辺の拡大する．

クは左右のバランスが出来栄えに影響するため，拡大鏡を3.2.3 利用例利用する場合においても，通常の鏡で全体感を確認するこ

図 4 は化粧品を探しアイメイクを行う流れを示している．とも必要であり，拡大鏡だけでは完結しない．このためユ

まず，ユーザーは手元を直視せずミラーに表示された机のーザーは拡大鏡を見た後，通常の鏡を見る，という動作を様子を確認し（図 4-1），指先の拡大表示を確認しながら化繰り返す必要があり，時間がかかる．また，拡大鏡自体を粧品を取り出す（図 4-2）．次に，化粧品を手に取り，アイ準備する時間も必要である．そこで，スマートミラー上で，メイクを行っている（図 4-3）．化粧箇所を拡大することで，アイメイクを行う箇所を拡大表示する機能を実装すること細かい化粧作業がしやすくなっている.

で，拡大鏡を準備する時間，及び 2 つの鏡間の目線移動の時間の削減を目指した．

4. 考察

正面カメラの映像を入力に，顔認識を行い，目の位置を提案手法はスマートミラーの情報表示手法により化粧の把握し，周辺の拡大表示を行う．アイメイク以外のタイミ時短を支援するものである．これまで被験者によるユーザングや，アイメイクをしていない側の目の拡大を行う必要

テストは行っていないが，ラボテストで数人にシステムをがない．そこで，アイメイクをする際には，人差し指の指利用してもらい得られたフィードバックをまとめる．

先が目に近い位置にあることを想定し，指認識を組み合わ

通常の鏡，ディスプレイ表示による電子鏡と，提案手法せた．認識した人差し指の指先の位置に最も近い目を自動の 3 種類の鏡を使い，眉毛と目に限定し化粧をしてもらっで拡大する．同時にウィンドウサイズも自動で拡大する．

た．化粧時間に関してはスマートミラーが若干早いという

3.2.2 手元表示

結果を得られたが，使いやすさのアンケートでは，スマー

手元表示はミラーシステムの手前に並べて配置してある

トミラーを選ぶ人と，通常の鏡を選ぶ人で評価が別れた．

化粧品を表示する機能で，化粧品を探し取り出す作業を支

事前にスマートミラーを使った練習をあまり実施していな

援する．

い状態での計測であったため，利用方法に関する説明や練化粧は多くの道具を利用する．アイメイクだけでも，ア習により時間はより短くなることが想定される．一方で，イライナー，マスカラ，アイシャドー，ビューラーなどが自己採点による出来栄えは人によって異なっていた．毎朝ある．化粧をする際には，これらの化粧道具を並べた上で，の化粧作業での使用を想定しており，時間の削減が目的で利用の度に下を向いて机の上を確認し，次の化粧道具を選はあるが，化粧のクォリティを通常の鏡と比較して維持すんでいくため，時間がかかってしまう．下を向いて机を見ることも同様に重要である．クォリティは人によって異なること無く，次の道具へ切り替えられるようにするため，るため，評価基準をどう設定するかが課題と考える．

© 2024 Information Processing Society of Japan619

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-97
2024/2/28

提案手法では，自動拡大表示と手元表示の 2 つの表示方法を実現した．自動拡大表示に関しては，化粧対象が大きく見える点で有効であることに加え，化粧中は手が汚れていたり，塞がっていることがあるため，指先の自動認識やディスプレイに直接触ることなく拡大表示される手法は効果的であると考える．また，手元カメラに関して，現在表示される情報は手元カメラで撮影した映像を直接ディスプレイに表示しているため，化粧品の色が似ている場合や向きが変わっている場合には識別が難しくなる．こうした問題に対処するために，化粧品を物体認識等で切り分ける手法や化粧品名の表示等と組み合わせることで，より探しやすく掴みやすくなると考える．

5. まとめ本研究では，化粧の時短を支援するスマートミラーシス
テムについて，システムの概要と実装について述べた．
「身だしなみや社会のマナー」としての化粧にかかる時間を減らすことを目指しスマートミラーのプロトタイプシステムの開発を行った．
今後は，ラボテストで得られたフィードバックをもとにシステムを改善し，ユーザテストによる評価を行う予定でいる．特に，ユーザインタフェースとしての使いやすさの向上を目指す．

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

”ポーラ文化研究所：化粧・美しさの価値観と未来予想”.
https://www.cosmetic-culture.poholdings.co.jp/report/pdf/220830mirai.pdf, (参照 2023-10-10).
”ポーラ文化研究所：ウィズコロナ時代の化粧意識・行動分
析コロナ前後で化粧はどう変わったのか？”.
https://www.cosmetic-culture.poholdings.co.jp/report/pdf/210630withcorona.pdf, (参照 2023-1010).
岩渕 絵里子, 椎尾 一郎. 電脳化粧鏡：メイクアップを支援する電子鏡台. 第 16 回インタラクティブシステムとソフトウェアに関するワークショップ(WISS 2008)予稿集, 日本ソフトウェア科学会研究会資料シリーズ, 2008, no. 58, pp. 45-50.
松井菜摘, 大西鮎美, 寺田努, 塚本昌彦. Color-Path:手本動作の AR 表示によるヘアアレンジ再現支援システム. 日本ソフトウェア科学会研究会資料シリーズ(Web), 2021, no. 94, p. 9.
中川 真紀, 塚田 浩二, 椎尾 一郎. Smart Makeup System：
ライフログを用いた化粧支援システム. 情報処理学会論文誌.
2013, vol. 54, no. 4, p. 1563-1572.
市川 智子, 神部 真音, 荒木 七海, 川合 康央. 肌色分析によるメイクアドバイスアプリケーションの開発. 日本デザイン学会研究発表大会概要集, 2019, vol. 66, p. 412.
藤田真央, 塚田浩二, 椎尾一郎. 適切なヘアドライを支援す
るインタラクティブ・ドライヤーの提案. 全国大会講演論文集. 2012, vol. 74, no.4, p. 799-800.

© 2024 Information Processing Society of Japan620