WISS2008

電脳化粧鏡：メイクアップを支援する電子鏡台
Smart Makeup Mirror : Computer Augmented Mirror to Aid Makeup Application

岩渕 絵里子

椎尾 一郎∗

Summary. 本研究では，毎日のメイクアップが楽に楽しくでき，楽しみながら行っているうちに満足のいく仕上がりになるような電子的な鏡台を提案し，試作を行ったので報告する．本システムは，コンピュー
タのディスプレイ上部に HD 解像度のカメラを設置し，鏡像反転させたカメラ映像をディスプレイに表示することで，電子的な化粧鏡を実現する．
本システムに，(１) メイクブラシにカラーマーカをつけ，マーカを検出するとカメラの映像がメイク箇所へ自動的にズームをする，(２) 鏡に近づかず自然な体勢のまま，ズーム映像を得てメイクができる，(３)
他人から見た左右反転していない映像で自分の顔を観察する，(４) 三面鏡のように横顔の確認ができる，(５) 照明変化のシミュレーションを行う，(６) 身近な人によりメイク結果の評価を得る，などの機能を実装した．実装したシステムを使用しユーザテストを行い，必要な機能を検討し改良を加えた．

1はじめに

現代の成人女性の大半は，人前に出る際にメイクアップをしている．しかし，毎朝のメイクアップを面倒に感じている女性は多い．化粧品メーカー「コーセー」が，首都圏に住む 16-64 歳の女性 650 人を対象に毎年実施している調査によると，「化粧をするのは面倒」は，1999 年度の 51.4%から年々増え，2003年度には 63.5%になり，30 代は 7 割以上が「面倒」派であるという結果が出ている1 ．メイクアップに関する本や雑誌などからも，多くの女性がメイクアップの方法や，自らのテクニックに関して何らかの悩みを抱えていることが窺える．これらのことから，毎日のメイクアップが少しでも楽に，少しでも楽しくでき，楽しみながら行っているうちに，満足のいく仕上がりになるようなツールが求められていると考えられる．
メイクアップに関する研究は，シミュレーションを中心に行われており [1][2]，現在では化粧品選びなどを目的に，デパートや百貨店の化粧品カウンターで一般に利用されるまでにいたっている2 ．しかし，シミュレーションは毎朝行うことではなく，日々の面倒なメイクアップを支援してくれるものではない．
そこで本研究では，毎日行うメイクアップに使用する道具として使いやすい鏡の実現を目指した．
また，満足のいくメイクアップをするためには，「自分の顔を知る」ことが重要であると，多数のメ
Copyright is held by the author(s).
Eriko Iwabuchi, お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻, Itiro Siio, お茶の水女子大学 理学部 情報科学科
1
http://www.yomiuri.co.jp/komachi/news/20040722sw42.htm
2
資生堂 リアルタイムメーキャップシミュレーター

∗イクアップアーティストが述べている [3][4]．自分の顔を知ることで，自分に合うメイクアップに変化し，それぞれの個性を発揮できるのである．
そこで本研究では，普段鏡に向かっているだけでは気づかないような自分の顔の良いところ・悪いところをより簡単に発見できるように，普段とは違った視点で自分の顔を見つめるきっかけを与えるような機能を実装した．

2

電脳化粧鏡の概要

図 1 に，本研究で開発した電脳化粧鏡を使用してメイクアップをしている様子を示す．本システム
では，コンピュータのディスプレイ上部に高解像度のカメラ (IEEE-1394b 接続，1624x1224 ピクセル)3を設置する．カメラの映像は，鏡と同じになるよう左右反転させて表示し，ユーザはその映像を見ながらメイクを行う．カメラ映像を鏡のように使用し，顔を表示している研究には，[1][5] などがあるが，本システムでは実用的なメイクアップを可能にするため，高解像度のカメラを使用した．また，高解像度カメラ映像の一部を切り出して表示することにより，電子的なパン，ズーム機能を実装した．
カメラ映像は，後述する機能を実装するため画像処理を行っているが，この画像処理を高速に行う目的で低解像度のカメラ (320x240 ピクセル) 4 を設置した．画像処理には OpenCV を，高解像度カメラの制御には FlyCapture(FlyCapture API programming library) を用いた．
また，後述する機能の操作のため，赤外線距離セ34

Point Grey Research 社 Grasshopper GRAS-50S5C-C
Logitech 社 QuickCam Pro 4000 Digital Video Camera
V-UJ16WISS 2008

点に加えて，メイクアップアーティストの意見を元に，電子的な鏡であることの特徴を積極的に生かすべく本システムに実装した機能を，以下で紹介していく．

3.1

図 1. 本システムを使用してメイクアップを行っている様子

ンサ5 と近接センサ6 も設置した．これらのデバイスはマイコン7 によって制御し，シリアル通信によってプログラムに送信している．

3

メイクアップ支援機能

本システムではディスプレイの上部にカメラを設置し，そのカメラの映像を見ながらメイクする．そのため，従来の化粧鏡と比べて，視線の一致，応答性，解像度，フォーカス機構などに違いがあり，これがメイク作業の支障となる可能性がある．本研究のねらいは，鏡に劣る部分を補い，さらに鏡では実現できない機能を実装することである．
そこで，前者の機能を検討するために，本システ
ムの初期段階の試作機を用いて実際にメイクを行い，鏡との違いがメイク作業に与える影響を調査した．
その結果，• 目線が下を向いている映像しか見られなかったので，真正面から見た顔を確認する方法が欲しい．

• 細部を確認しようとしてカメラに近づくと，ピントが合わずにぼけてしまう．という意見を得た．以上のことから，鏡と同等の使い勝手を実現するためには，正面顔の確認と映像の拡大表示機能が必要であることがわかった．この 25

SHARP 社 GP2Y0A21
OMRON 社 EE-SB5VC
7ATMEL 社 ATmega86

メイク箇所への自動ズーム

プロのメイクアップアーティストは，「拡大される鏡があるとメイクアップの確認がより厳密に行える」
として，メイクアップを行う際に少なくとも 1 枚の拡大鏡を使用することを薦めている [6]．また，「鏡との距離が近すぎると細部にこだわりすぎてつい厚化粧になりがちであるため，少し離れた大きめの鏡でメイク中にチェックして見るようにすると，客観的な目線で見ることができ，バランスの良い仕上がりになるとして，大小 2 つの鏡を用意してメイクするようアドバイスしている．実際鏡を使用してメイクアップするとき，細部の確認と全体的なバランスの確認行うため，鏡に近づいたり遠ざかったりという動作を頻繁に繰り返している．本システムには，メイクアップの仕上がりが向上するよう，顔全体を表示する鏡機能に加えて，細部を表示する拡大鏡機
能を実装した．また，近づいたり遠ざかったりと態勢を変えなくても簡単に 2 つの鏡機能を使用できるよう，メイク作業にあわせて自動的に切り替わるようにした．
メイクアップは顔全体にファンデーションを塗布するベースメイクと目元や口元などの顔パーツに化粧料を塗布するポイントメイクに分類される．ポイ
ントメイクをする際，メイク箇所ができるだけはっきり見えるよう，鏡に顔を近づけてメイクをする．ポ
イントメイクを支援するためには，メイク作業の妨げにならない自然な操作でメイク箇所にパン，ズームできる機能が必要である．ところで，目元や口元のポイントメイクの作業では，メイクブラシなどの道具を使用して行うことが多い．本システムでは，カラーマーカをつけたメイク道具を使用し，カメラが目元付近でマーカを認識すると，カメラの映像を目元のズーム映像に切り替え，ディスプレイに拡大映像を表示する機能を実装した．このようにして，鏡に近づくことなくメイク箇所へ自動的にズームさせることができる．
このとき，高解像度のカメラの画像を使用してマーカの認識，目元口元の場所認識処理を行うと，データ量が大きいため，処理に時間がかかりスムーズな動作を実現できない．そこで，高解像度のカメラのほかに，低解像度のカメラを設置し，このカメラの映像を画像処理に利用した．低解像度のカメラが目元でマーカを認識すると，高解像度のカメラの映像が目元のズーム映像に切り替わり，マーカが目元付近で認識されなくなると，高解像度のカメラの映像は顔全体の映像に切り替わる．

Smart Makeup Mirror : Computer Augmented Mirror to Aid Makeup Application

3.2

直感的なズーム切り替え

ポイントメイク中にメイク箇所へ自動ズームする機能を持つと上に述べたが，販売されている拡大鏡の倍率は様々であり，人によって求める倍率も異なるだろう．また，前述の自動ズームの倍率では，まつげ一本一本のような細部までは確認することが困難であった．そこで本システムでは様々な倍率で拡大できるようにした．ディスプレイにズーム映像を表示しているときに，ディスプレイに少し近づくとさらに拡大率が大きくなる．反対にディスプレイから遠ざかると，拡大率が小さくなる．体の位置を変えることで，好みの倍率でズーム映像を表示する．
これにより，大きく，はっきりと見たいから鏡に近づくという自然な操作で，ズームの拡大率の切り替えができる．
画像処理によるカメラ〜顔間の距離計測では，安定した値が得られずに拡大率が頻繁に変化してしまった．そこで，ディスプレイ上部の枠に赤外線距離センサを取り付け，カメラ〜顔間の距離を計測した．

3.3

リバーサルミラー

普通の鏡では，映し出された像は左右反転しており，人から見られた顔とは左右違う．そこで，左右が反転している像を元に戻して，本当の自分を映しだすことができるリバーサルミラーと呼ばれる鏡がある．ヘアスタイルや，眉の形，目，唇，ほくろの位置などは左右反転してみるとかなり印象が変わって見える．プロは，リバーサルミラーを使用して，他人の視線から見たときの自分を確認することを勧めている [6]．普段見慣れている顔の自分だけでなく，他人から見た自分といういつもとは違った視点で顔を観察することで，より自分の顔を知ることができると期待される．
そこで本システムでも，カメラの映像をそのまま表示することで，リバーサルミラーと同じ映像を得る機能を実装した．左右反対ではメイクアップは行いづらいので，通常は左右反転した普通の鏡と同じ映像を表示する．メイク完了後，簡単にリバーサルミラーの映像に切り替えることができ，他人から見た自分を確認できる．

3.4

横顔確認

普段の生活では，正面からだけではなく，横や斜め，下からも顔を見られるので，様々な角度からの映像も確認したい [7]．そこで，静止画を撮影し表示することで，様々な角度の顔を確認できるようにした．普通の鏡一枚では確認できない横顔や後姿の確認も可能となる．鏡で見られない角度の顔を見ることで，これまで気づかなかった自分の顔の特徴を発見することができるかもしれない．
また，試作機を使用してメイクアップを行った際に，メイクアップ中に真正面から見た顔を確認する方法が欲しいという意見があった．この機能を使い，カメラのほうを見て静止画を撮影することで，正面を向いている顔を確認することができるようになった．

3.5

照明モード

普段メイクアップを行うとき，細部を見るためにメイクアップはできるだけ明るいところで行われるのが普通である．また，美容部員になるための専門学校では，「蛍光灯などの光の下では本来の色が見えないので，メイクアップをするときは自然光の下で行う」よう教えている．しかし，日中に自然光の中で見たときと出先の居酒屋やパーティなどの照明下で見たときでは，女性のメイクの見え方は異なる．
ライフスタイルに合わせたメイクをすることは大切で，シーンに合わせたメイクのためのライト付き化粧鏡8 も発売されている．これは，5 色の LED で構成された 10 個のライトがメイクアップに最適な明かりをつくりだし，5 種類のモードと好みの明るさを選択可能な化粧鏡である．5 種類のモードはそれぞれ，オフィスライトモード（オフィス、ショッピ
ングモールなど）
・曇り（自然光）モード（野外、アウトドア、スポーツ観戦など）
・晴れ（自然光）モード（ウインドウショッピング、スポーツなど）
・サンセットモード（ダイニング＆バー飲み会など）
・キャンドル（ナイト）モード（パーティ、クラブ、劇場など）である．
本システムでも，ライフスタイルに合わせたメイクアップができるよう，カメラのホワイトバランスを変更することで照明の種類を切り替えるようにした．照明の種類は，上記製品と同様の，オフィスモード・曇りモード・晴れモード・サンセットモード・キャンドルモードに，本来の色が見える晴れモードと同じホワイトバランスでさらに明るいメイクアッ
プモードを加え，6 種類とした (図 2)．

3.6

ログ機能

新しい化粧品を購入したり，メイク方法を変えたりするとき，新しく買った化粧品は今まで使用していたものとどこが違うのか，色や光の具合（パール・ラメ）などはどのようなタイプが自分に合っているのか，判断することは難しい．同様に，メイクアップの方法を変えたときも，それが今までとどのように違うのかを判断することは難しい．今までその比較判断をするには，自分の記憶の中の顔と比較していた．しかしこの比較は正確とは言えない．もし正確に行おうとすると，写真を撮影して比較したり，左右でメイクを変えて比較したりするなど，面倒な手順を踏まなければならないだろう．また，鏡で自分の顔を観察しようとしても，鏡で顔を見るときはすでに鏡用に表情を作っている9 ので，普段の表情
89

インストール株式会社 「ミロワール・ラボ」
http://www.a-n-to.com/

WISS 2008

図 3. 本システムを使用してメイクアップをしながら，静止画を撮影した様子手を近づけることで操作する．

44.1

図 2. 照明モードの違いによる顔の見え方の変化を観察することは困難であり，自分の顔は意外と客観的に見られないと言われている．しかし，自分の顔を知るためには，自分の顔を客観的に見ることが大切である．
本システムでは，メイク完了後に顔を撮影して記録できるようにした．現在表示されている画像を簡単に指定フォルダに日付，時間名で保存できる．メ
イクアップを終えたら，そのままの場所で顔写真を撮影し，保存する．毎回同じ環境下で撮影した顔を保存していくことによる，より正確な比較判断が期待できる．また，撮影時にディスプレイ内の自分の顔を見ていると，下を向いている顔しか撮影できない．そのため，撮影時には自然とカメラのほうを見ることになり，ディスプレイに映っている自分の顔は見ない．その結果，鏡用に作った表情ではない顔を撮影することができるようになった．

3.7

ユーザテスト
開発者

本システムを使用して開発者が実際に自身の顔にメイクアップをした．化粧をまったくしていない状
態から始め，メイクアップを終えて髪を整えるまでの様子を図 3 に示す．個々のメイク部位に関する感想として，• 下まぶたのアイラインはひきやすいが，上まぶたのアイラインは少しひきにくい．

• マスカラはブラシ付近にマーカをつけられないので，マーカの場所を検討する必要がある．

• マスカラ液の入っている入れ物側の上部にマーカをつけ，そのマーカ部を口元に持っていくと塗りやすくなる．

• チークブラシやシャドウブラシなど，全体のバランスを見ながら使用する道具にはマーカはつけないなど，道具によって使い分けること必要がある．などがあった．ユーザテストの結果から，ズーム切り替えの倍率や，ズームを切り替えるタイミング，メイクブラシにマーカを貼る位置など，より使いやすいように改善した．

非接触オペレーション

メイクアップ中，化粧品を混ぜたり，指で化粧品をつけたり，色をぼかしたり，失敗した部分をこすったりして，手指はどんどん汚れていく．このように化粧品がついた手で，物に触れたくはない．そこでメイクアップ中，前述した全機能の操作を非接触で行いたい．ポイントメイク中のメイク箇所への自動ズーム，ズーム切り替えは，カラーマーカ (化粧道具) と距離センサ (体の位置) を利用することで，非接触で行っている．さらにリバーサルミラー，静止画撮影，照明モード，保存機能も非接触で操作できるよう，ディスプレイの右側の枠に４つの近接センサを取り付けた．機能の切り替えは，近接センサに4.2

一般女性開発者のユーザーテストの結果をふまえ改良した
後，女子大学生 2 人 (23 歳，25 歳) に，本システムを使用してメイク直しをしてもらった様子を図 4 に示す．実際に行ってもらったメイクは，アイシャド
ウ，アイライン，アイブロウ，ビューラー，マスカラ，リップ，チーク，ハイライトである．ユーザテ
ストの結果，以下のような意見を得た．

• 思いのほか使いやすかった・意外といい• 鏡より，しみ・くすみが見えて嫌• マーカ認識による自動ズームはとても良いSmart Makeup Mirror : Computer Augmented Mirror to Aid Makeup Application

図 4. 本システムを使用してメイク直しをしている様子

図 5. 上：上まぶたのアイラインをひいているところ
下：下まぶたのアイラインをひいているところ• 自動ズームで拡大画像に切り替わったときに，メイク箇所を見失うことがある• リバーサルミラー機能での，他人から見た自分の確認は今後の参考になる• 照明モードを切り替えられることは，とても良い• 目線が合ったほうが使いやすいのではないかなどである．目線に関する意見は他にも，• 下まぶたのアイラインはやりやすいが，上まぶたのアイラインはやりにくい• 目に近い箇所にひくアイラインは難しいが，目から少し離れた箇所に塗るアイシャドウは塗りやすい• ビューラーで上のまつげをはさもうとすると，上下の感覚がずれるため難しいなどがあった．
ユーザテストの結果を考慮して改良を加えたので，次章で述べる．

5

表示位置の調整機能

ユーザの目線に関する意見はいくつかあったが，どれも目元メイクの過程に関する意見に集中していた．そこで目元メイク時の目線の様子を詳細に観察した．図 5 のように，普段鏡を使用して上まぶたにアイラインを引くときは，上まぶたの際が良く見えるように，顔を上に向け上まぶたを引っ張りながら，目線を下に下げて引く．反対に下まぶたのアイラインを引くときには，下まぶたの際が良く見えるよう，あごをひいて顔を下に向け，目線を上に上げる．試作したシステムでは，目元ズームの際，映像をディスプレイの上端にあわせて表示しており，自分の目の位置よりディスプレイの目のほうが上にあった．
このためユーザテストでは下まぶたのアイラインのほうが引きやすかったと思われる．また，アイライン以外の作業でも難しさが指摘されていたが，目に最も近い箇所に化粧料を塗るアイラインの作業がスムーズにできれば，目元の作業であるアイシャドウ，ビューラーも問題なく行えると期待できる．
この目線の問題は，カメラの位置または，映像の表示位置を変更することで解決できると考えられる．
カメラ位置を変更するには，カメラにアームをつけて自由な場所に移動できるようにしたり，カメラをいろいろな場所に多数取り付ける必要がある．しかし，複雑な機構となりコストが増大する．将来本システムを，ディスプレイ上部にカメラを内蔵した PCに実装する場合には，現在のカメラ固定方式は有利である．そこで，カメラ位置は変更せずに映像の表示位置を変えることにした．
前に述べたように，上まぶたにアイラインを引くとき，ユーザは顔を上に向ける．そこで，その動作を画像処理により検出し，拡大映像の表示位置をWISS 2008

ディスプレイ下部に移動する機能を実装した．反対に下まぶたのアイラインを引くときは，ユーザの顔を下に向ける動きを検出して，拡大映像の表示位置をディスプレイ上部に移動する．このように表示位置を調整することで，下まぶたのアイラインだけでなく，上まぶたのアイラインも引きやすいよう改良することができた．

6

メイク結果写真投票

ログ機能で記述したように，メイクアップ完了後に顔写真を撮影してメイク結果写真を保存している．
この写真を利用して，自分の顔に合ったメイクアップを見つけられるようにした．撮影した顔写真を表示して比較することで，化粧品を変えたことや，メイクアップ方法を変えたことによる出来栄えの違いを確認することができるようになった．
しかし，メイクアップの比較は可能になったが，自分の顔に合ったメイクアップを探っていくためには，自分ひとりの判断だけでは十分とは言えない．自分では似合っていると思っているメイクでも，他人の目から見ると，ミスマッチなメイクなこともあるからである．実際，仲間内で化粧のダメだし投票大会を行い，失敗しているメイクを直すというテレビ番組10 も放映されている．そこで，撮影した顔写真を自分だけで見て判断するのではなく，友人や恋人などの身近な人たちに判断してもらえるようにした．
メイク完了後の顔写真は図 6 のような，パスワードをかけた Web ページ上で公開する．写真の右側にある「↑」「↓」のボタンで写真の表示順序を変更することができる．友人たちは，似合っていると思う写真が上に，似合っていないと思う写真が下になるよう，並べ替える．また，どの部分が似合っていないのか (色や，眉の形など) や，どのような点が似合っているのかを具体的に記入できるよう，コメント欄も付けた．似合っていないという負の意見も素直に言えるよう，コメントは匿名でも記入できる．
身近な人たちだけの限定的な公開なので，有益な意見を聞くことができると考えている．
こうして客観的な視点から自分にあったメイクを教えてもらい，本当に自分にあうメイクを探っていけることを目指した．

7まとめと今後の課題

毎日のメイクアップが楽に楽しくなり，自分の顔の特徴を発見することができ，使い続けるうちに満足のいく仕上がりになるような，電子的な鏡台である電脳化粧鏡を提案し試作を行った．
また，電脳化粧鏡を使用してフルメイク，もしくはメイク直しをしてもらい，ユーザテストを行った．
一般のユーザにプロトタイプシステムを使用しても10

フジテレビ：「デスメイク」

図 6. メイク結果投票ページ：「↑」をクリックすると顔写真の順位が上がる

らうことで，自動ズームの方法や映像の表示方法，必要な機能の検討を行った．ユーザテストの結果を受けて実際にシステムを改良した．さらに，自分に合ったメイクアップを客観的に判断する目的で，メイク結果投票機能を実装した．
今後は，改良したシステムを使用してユーザテストを再度行いたい．そして，長期的に本システムを利用し，メイクアップ方法や時間に変化が表れるか，メイクアップ行為が楽しくなるのかなど，本システムの有用性をさらに検証していきたい．

謝辞
本研究は，情報処理推進機構 (IPA) の 2007 年度
未踏ソフトウェア創造事業の支援を受けた．

参考文献[1] 古川貴雄，塚田章：魔法の化粧鏡―実時間顔画像認識に基づくメークアップシミュレーション．画像ラボ，Vol. 13, No. 10, 34-38, 2002．
[2] 高木佐恵子，波川千晶，古本富士市：メイクアップ
技術上達のためのアドバイスシステム．芸術科学会論文誌，第 2 巻第 4 号，pp. 156-164，December
2003．
[3] 服部彩香：顔の見せ方 つくり方，あさ出版，2006．
[4] 岡野宏：渡る世間は顔しだい，幻冬舎出版，2007．
[5] 河内春奈，井上亮文，市村 哲：ポイントメイクを支援する電子化粧鏡の研究．情報処理学会第69 回全国大会講演論文集, pp. 4-201-202，March2007．
[6] 渡会治仁：誰も教えてくれないメイクの基本，(株)スタジオ タック クリエイティブ（2006）．
[7] かづきれいこ：＜私＞を変えるメイク革命，幻冬舎出版，2001．