情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C68
2016/3/4

ハーフミラーを用いたフェイスコンディション認識支援システム
高田智樹†

稲場美央†

中川恵美† 鳥山朋二†

概要： 自分の顔の状態を客観的に見ることはできない．鏡を使ってもどこがどうなっているという一定の判断基準は存在しない．加えて気になるところは人それぞれ違う．また，そもそも家を出る前にゆっくり判断している時間がない．そこで本研究では，「自分の顔を悪くする要素を教えてくれる」，「自分の顔を評価する一定の判断基準を設ける」，「出かける前の短時間でできる認識」という３つのことを実現させるシステムを提案する．自分の顔を悪くする要素を目の下のくま，顔のむくみ，目の腫れぼったさ，顔のテカリの 4 点と定義した．予備実験としてこの 4 点の特徴を分析し，評価基準となる閾値を作成した．その閾値をもとに、認識精度向上のための今後の課題を明らかにした．

A Recognize System for Supporting Face-Condition Using Half MirrorTOMOKI TAKATA† MIO INABA† MEGUMI NAKAGAWA† TOMOJI TORIYAMA†

Abstract:: People can't see their face objectively. Even if one looks into a mirror, the mirror doesn't show the criteria of his face condition. In addition, each person has his matter ofconcern with his face. Some people are too busy to check own face enough. Therefore we propose system which check your face, and tell the following features of your face. First, thesystem extract the criteria of face condition from daily face images. Second it tells you the point that make your face conditions bad. Third, it takes only little time to judge the facecondition. We defined the four elements of making face bad, such as dark circle under the eyes, facial swelling, puffy eyes, and oily face. We determined the threshold values to detect
the four elements above from the preliminary experiment. In this paper, we describe our system details, its current precision and future work.

1 はじめにと呼ぶ．また，男女 13641 名を対象に行った朝の時間の過ごし方

インターネットによる市場調査会社である「マイボスコム株式会に関する調査によると，「平日の朝」に時間がほしいと感じている社」が，男女 13543 人を対象に行った身だしなみに関する調査に人は 6 割以上を占め[4]，フェイスコンディションを保つために費よると，6 割以上の人が身だしなみに気を遣うと回答しており，まやすことが可能な時間は制限されていることは明らかである．我々たその中でも 4 割程度の人がフェイスコンディションに気を遣うはこのような問題に対応できるシステムとして，制限された時間のと回答した[1]．これは多くの人がフェイスコンディションをある中で，上記マイナスファクタの状態を一定の基準で評価し，提示す一定以上に保つことを重視していることを示している．周囲に気をることでフェイスコンディションを一定以上の状態に保つことを遣うということから，フェイスコンディションは自身の顔が人目に支援するツールを作る試作したので，その評価結果ともに報告する．

触れる前にチェックすることが必要であり，その多くが一般的には

以下２章では本研究と同様な問題に対する関連研究とそれらの対鏡という手段を用いて，外出直前に実施するという形態をとること応状況について述べ，３章では今回試作したシステムについて述べになる．しかし，ここでのチェックは個人主観に基づいて行われ，る．1

されにその主観はその日の気分や体調に左右されやすい可能性があるため，フェイスコンディションを一定の基準で判断することは困難である．フェイスコンディションを下げる要素として，化粧品メーカーの「オルビス株式会社」が 20-30 代の女性 500 人を対象

2 関連研究顔認識の分野には多くの研究が存在し，様々なアプローチで問題を解決しようとされている．としたフェイシャルケアに関する調査を行ったところ 5 割以上の顔認識の研究として斉藤ら[5]は kinect を用いて取り組んだ．

人が朝の顔がむくんでいる状態をがっかりしてしまう残念な状態

Kinect から得た情報から顔領域を切り取り，3 種類の判定アルゴリの顔であると回答した．他にも 4 割以上の人が目の下にクマができズム(ニューラルネットワーク，サポートベクタマシン，ベイジアンている，目が腫れぼったくなっているという状態に関しても残念なネットワーク)に，特徴量データを学習させる手法である．また，斉状態の顔であると回答した[2]．また，化粧品メーカーの「イプサ」

藤らと違う手法で，阿部ら[6]はエッジ検出を用いた手法で顔器官は 20-40 代の男女 642 人に調査を行ったところ，6 割以上の人が顔抽出に取り組んでいる．照明影響のある顔画像，照明影響のない顔のテカリはマイナスの印象を受けると回答している[3]．これらの画像，眼を閉じている顔画像３種類を用意し，4 つの画像処理フィ調査結果から，我々は顔の状態を悪くする要素を，「顔のむくみ」，ルタ(ヒストグラム平坦化，平滑化フィルタ，エッジ検出フィルタ，「目の下のくま」，「目の腫れ」，「顔のテカリ」であると考え，これ2 値化処理)を用い，画像処理の組み合わせをかえることで，認識のら，フェイスコンディション低下させる 4 要素をマイナスファクタ向上を図った．斉藤らの研究では，10 人の成人男女を対象に行っ†富山県立大学工学部
Toyama Prefectural University, Faculty of Engineering© 2016 Information Processing Society of Japan1058

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C68
2016/3/4た調査で 2 つの判定アルゴリズムとの適合率 95％前後となったことと，阿部らの研究でほぼ正確に抽出できていたことから個人を特定することはできる．
また，顔の状態を認識する研究の 1 つとして肌のきめ，小じわを評価するものがある[7]．顔の状態を認識する問題に対して，この研究では，処理後の画像から肌の皮溝の数で肌のきめの評価を行っている．用意された肌画像 45 枚中 37 枚が主観評価と認識結果が一致しており，精度 82.2％となっている．しかし，この研究では，照図 1 使用カメラ

明条件や撮影場所については考慮されておらずまた，肌の状態のみに注目した研究となっており，フェイスコンディション低下させる要素としては不十分であると考えられる．

3 フェイスコンディション認識システム
1 章で示したように，制限された時間の中でフェイスコンディションを一定に保つためには，マイナスファクタを素早く把握できる必要がある． 本章では顔の状態を認識，評価を行うためのシステ
ム機器構成，およびシステムの構成について述べる．
3．1 システム設計
本システムは，顔を撮影するカメラを鏡の奥に配置することで，毎朝鏡を見る際に顔の写真を取得し，これを事前に撮影したマイナスファクタが極小の写真（複数枚登録可）と比較し，各マイナスファクタの差について提示する構成としている．また，カメラをミラーの奥に装着するためにハーフミラーを用いた．ハーフミラーは株
式会社コーワ社製マジックミラー〈オーダーメイドミラー〉であり，透過率 8%，サイズ 300 ㎜×300mm，厚み 5mm のものを用いた．
これによって，毎朝鏡で顔を見る感覚で利用することが可能である．
さらに，照明条件を一定にするために，鏡の両サイドに 40W 相当の明るさを持つ電球色と昼白色のLED 電球 2 種類を2 個ずつ装着した．マイナスファクタの検出に効果的な照明条件を探るため，電球色と昼白色のLED 電球の明るさをそれぞれ独立に調光器で調整可能なものとした．２種類の LED 電球を選択した理由としては，一般的に用いられる照明条件が，これらの調合で合成可能であると考えたからである．使用したカメラは株式会社レッツコーポレーシ
ョン社製 L-MC4K である．
図 2 に試作した撮影装置を示す．中央部分が箱状になっており，箱の正面にハーフミラーを装着している．正面図（下）はハーフミ
ラーを取り付けた前カバーを開けた状態で撮影している．このように，ハーフミラーの裏にカメラを貼り付けることで同じ角度での撮影を行えるようにしている．

図 2 撮影システム（試作）の正面（上）と横（下）3．2 マイナスファクタの識別手法
マイナスファクタを識別するために，その特徴を探る予備実験を実施した．フェイスコンディションの異なる写真を準備し，それらに表出したマイナスファクタを識別するための特徴について検討した．
筆者のうち女性 2 人が睡眠時間，前日の飲食物を様々に変化さ© 2016 Information Processing Society of Japan1059

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C68
2016/3/4

せ，16 日間かけ，同一条件で 144 枚の写真を撮影した．マイナスファクタが顕著に表れる照明条件を探すために電球色と昼白色の電球をそれぞれ 3 段階の明るさに調整できるようにし，3 段階の各色の電球の組み合わせを用いることで 9 種類の照明条件で撮影を行った．撮影時には LED 電球のみの光を用いるため，遮光カーテンを用いることで部屋を断光した．図 3 に示すように両耳のピアスの位置と壁との距離を一定にすることで，装置に対する顔の向きと距離が変化しないようにした．また顔の下から棒を使って，顔の上下角度を一定に保った．
撮影した写真を用いて，本研究に関与しない 20~25 歳の男女6 人が，４つのマイナスファクタの表出状況について評価を行った．
この評価ではマイナスファクタをフェイスコンディション低下の要因としていること等の説明は行わず，それぞれの要素について，写真を見て思った通りに回答するように指示した．過半数以上の評
価者それぞれの写真に対してマイナスファクタが表出しているとしたものをマイナスファクタが表れている写真とみなすこととし
図 4 マイナスファクタが表出する場所た．
マイナスファクタが表れていると判断された写真の分析については，マイナスファクタの特性から，「くま」，「テカリ」，「目の腫れ」

3.2.1 目の下のくまについてについては写真の色や輝度を評価することとした．また「顔のむくくまには，茶グマ，青グマ，黒グマの3種類がある．茶グマは紫み」については顔の部分的な長さを評価することとした．これらの外線や化粧が残り起こる色素沈着が原因である．黒グマは生まれ特徴を抽出するために使用したソフトウェアはフリーの画像編集つき，または加齢によって皮膚形状が変化することが原因であソフト GIMP[8]，及び顔のパーツ位置測定には WebAPI[9]を用いる．本研究の目的は日々の生活からできたり消えたりするくまをた．この WebAPI は写真内の顔は１つに限らず検出できるもの全対象としているため茶グマと黒グマに関しては認識する必要はなてに対して各々50 点の情報を返す．GIMP を用いた画像分析では，いと判断した．それに対し青グマは睡眠不足やストレス等が原因

顔の色や明るさ等を特徴候補とするため，写真を RGB，HSV の要であり，生活により変化を起こすものであるため，青グマのみを素に分割した．以降の説明では，赤（Red），緑（Green），青（Blue）

識別の対象とすることにした．

をそれぞれ単に R,G,B と表現し，色相(Hue)，彩度(Saturation)，明度(Value)をそれぞれ単に H,S,V と表現する．

くまは涙袋の下にできるものであり（図4の①部分），写真でその部分を確認するとくまがあると判断された日は明らかに色が違

図 4 にマイナスファクタが表出するおおよその位置を示す．以うため，RGB，HSVの値からくまを検出することにした． その下，各マイナスファクタの識別方法について述べる．また，マイナ

結果，ある照明条件下で涙袋の下の20pixel平方の平均のRとVのスファクタの識別結果と評価が合っている確率の事を一致率とす

値にくまがある時とない時で差が見られた．それらの結果を図5,6る．に示す．図5よりくまがある時のRの値は全て148以下であり，図6よりくまがある時のVの値は全て58以下であることがわかる．この2つの条件を満たし，かつくまがないと判断された時のデータ数は2件である．一致率は約91%であり高い確率であると言える．このことから今回のシステムではこの照明条件下でRとVの閾値をそれぞれ148と58として識別することとした．

図 3 顔の位置，角度を固定した撮影環境© 2016 Information Processing Society of Japan

図5 くま表出部分のR値

1060

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C68
2016/3/4

図6 くま表出部分のV値
3.2.2 顔のテカリについて

図8 テカリ表出部分（眉間）H値

テカリの原因は皮脂の過剰分泌である．遺伝のような不変的なものもあれば，ストレスや乾燥のような日々変化するものによるものもある．本研究の目的は日々の生活の中でできたり消えたりするテカリを対象としている．
テカリの比較部位は，筆者の主観により日常的に気になる頬とTゾーンの2か所に絞って評価を実施した．Tゾーンとは額から鼻先にかけての皮脂腺が活発な顔の部分であり、位置は図7の緑色の部分である．今回はTゾーンのなかから日々の変化が大きいと感じる眉間で評価を行う（図4の②と③）．テカリはその発生原因から色成分にその特徴は表れにくいと考え，HSVでの比較を行った．眉間では40pixel平方，頬では15pixel平方の大きさでのHSVそれぞれの平均値を計算した．その結果，眉間では図8より，Hの値は26以下，図9よりVの値は68以上かつ72以下の2つの条件を満

図9 テカリ表出部分（眉間）のV値たす時，一致率は約82％となり，全照明条件のうち最も主観評価とずれがなかった．また，頬では，図10よりHの値は25以上，図11よりVの値は73以下の時，一致率は約83％となり，全照明条件のうち最も主観評価とずれがなかった．このことから今回の実験
ではこの照明条件下で，眉間はHの値26以下かつVの値68以上72以
下，頬はHの値25以上かつVの値73以下を閾値としてテカリを識別することとした．

図10 テカリ表出部分（頬）のH値

図7 Tゾーンの位置© 2016 Information Processing Society of Japan1061

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C68
2016/3/4

クタの多段階評価による顔の状態評価の高解像度化を目指す.

参考文献
1)

マイボイスコム株式会社：身だしなみのアンケート調査，入手先(http://www.myvoice.co.jp/biz/surveys/16316/)(参照 2015-10-28)

2)オルビス株式会社：朝は 5 人に 1 人がむくみ，くすみの"がっかり"
顔～オルビス調査，美容経済新聞，入手先(http://bhn.jp/news/38554) (参照 2015-10-29)

3)

リサーチリサーチ：「顔のテカリ」に関する意識調査，入手先(http://www.lisalisa50.com/research20140416_13.html)(参照

図11 テカリ表出部分（頬）のV値

2015-10-27)
4)

3.2.3 目の腫れぼったさについて査，入手先(http://www.myvoice.co.jp/biz/surveys/11008/)(参照

目の腫れぼったさは夜更かしや塩分の過剰摂取によって顔から水分が排出されないことなどを原因として生じ，水分が瞼に溜まっマイボイス株式会社：朝の時間の過ごし方に関するアンケート調

2015-10-27)
5)

斉藤文哉，馮軒昂，原亜珠紗，宮地美希，北栄輔：Kinect を用いたて垂れ下がっていることにより目に覆いかぶさっている状態にあ

顔認識について，設計工学・システム部門講演会講演論文集

るときの見た目に対する呼称である．従って図 4 では④の位置辺り

2013(23), pp."3108-1"-"3108-6"(2013)に表れる．

6)

目の腫れぼったさは，目の開き具合で推定する方法も考えられるを用いた顔器官領域抽出―，電子情報通信学会技術研究報告. HIP ヒが，本システムの主たる利用時間が朝であることを念頭に置くと，眠気が目の開き具合に及ぼす影響も無視できないと考え，目の上部ューマン情報処理 110(98), pp.65-68, (2010)7)に発生する陰影で認識することとした．目が腫れぼったいと判断し

科学技術フォーラム講演論文集 13(3)，pp.93-94，(2014)
8)

B，G の両方が 60 以下という特徴があることがわかった．明るさ全体が低下するわけではなく，R の成分がさほど低下せずに B,G成分のみが低くなる理由は解明できていないが，本システムでは B

神戸美智子，田口亮，服部公央亮，保黒政大，梅崎太造，松岡建志：スマートフォンを用いた肌のきめ・小じわ評価システム，情報

た 2 枚の写真の中から，図 4 の④付近を 15pixel 平方の平均をとって分析したところ，当初明度にその差が表れているとの予想を覆し，

阿部恒介，早川吉彦：顔認識のための特徴点自動抽出―エッジ検出

GIMP，Spencer Kimball Peter Mattis and the GIMP Development
Team，入手先(http://www.gimp.org/)(参照 2015-10-30)

9)detectFace();，インクリメント株式会社，入手先(http://detectface.com/)(参照 2015-10-29)と G の閾値をそれぞれ 60 とし，目の腫れぼったさを識別することとした．
3.2.4 顔のむくみについて
むくみとは，目の腫れぼったさと同様に前日の水分が残っていることで顔全体がむくんでいる状態のことを指す．これは前日のアルコールが原因となっていることが多い．
図 4 の⑤の長さは不変であると考えられる．そのため⑤の長さで標準化し、⑥の長さを比較することで顔のむくみを認識する．
このことから今回のシステムでは⑤の長さで顔を標準化した⑥の値を用いて顔のむくみを識別することとした．

4． まとめ本研究では鏡の前に立って顔の画像を撮影するだけで，撮影結果と登録されている顔写真の「くま」「テカリ」「目の腫れぼったさ」「顔のむくみ」を比較し,その経験を提示する装置を作成した．この装置を使うことにより短時間で顔の状態を把握することが可能となる.今後の発展として，マイナスファ© 2016 Information Processing Society of Japan1062