DEIM Forum 2017 P8-6

ユーザの気分と状況を考慮したネイルレシピ検索方式の提案
梅崎準菜†

松波 友稀†

上田真由美††

中島 伸介†† 京都産業大学 コンピュータ理工学部 〒 603–8555 京都府京都市北区上賀茂本山†† 流通科学大学 経済学部 〒 651–2188 兵庫県神戸市西区学園西町 3-1
E-mail: †{g1444206,g1245108,nakajima}@cc.kyoto-su.ac.jp, ††Mayumi Ueda@red.umds.ac.jp
あらまし

ネイル産業の市場規模は年々増加傾向にあり，ネイルサロンに通うネイル愛好家も増えているものの，手軽さや費用の観点からセルフネイルを行うケースが依然多いといえる．また，セルフネイルの過程を撮影した写真と共に作業手順を示したネイルレシピを Web で公開する人も増えている．公開されているネイルレシピの数は増加しているが，その種類や難易度は多種多様であり，自分の好みや技量にあったネイルレシピを見つけ出すことは容易ではない．そこで本研究では，ユーザの気分と状況を考慮したネイルレシピ検索方式の提案を目的としている．具体的には，Web 上から収集した画像付きネイルレシピを分析することで，雰囲気，適切な場面，道具，難易度，カラー情報に関するメタデータを生成・付与することで，ユーザの気分や状況を考慮したネイルレシピの検索が可能となるネイルレシピ検索方式の提案を行う．
キーワード ネイルレシピ，情報検索，レシピ検索，テキスト分析，色情報，メタデータ

1. は じ め に
ネイル産業市場規模は年々増加傾向にあり，2015 年時点で2,223 億円と言われている [1]．また，ネイルサービスを行う店
舗は，2015 年現在で 24,450 店舗存在すると言われており，ネイルサロンに通うネイル愛好家も増えているものの，手軽さや感的かつインタラクティブなネイルレシピ検索の実現を目指す．
以下，２章にて関連研究を述べ，３章にてユーザの気分と状況を考慮したネイルレシピ検索方式について説明する．最後に４章にてまとめと今後の課題を述べる．

2. 関 連 研 究

費用の観点からセルフネイルを行うケースが依然多いといえる．

レシピを扱うサイトが多く存在する．Cookpad [2] や楽天レ

セルフネイルとはいえ，上級者にもなるとネイルサロンと遜シピ [3] など多くの料理レシピが記載されているサイトや，折り色ないネイルアートを施せる愛好家もおり，セルフネイルの過紙の折り方を細かく記載しているおりがみクラブ [4] などが有程を撮影した写真と共に作業手順を示したネイルレシピを Web名である．また，近年では， rednails [5] のようなネイルグッズで公開する人も増えている．最近では，ネイルシールやネイルの通販サイトが画像付きネイルレシピを公開おり，また，自らストーンなどのセルフネイル用のグッズも豊富となっており，のネイルレシピを公開する個人ブロガーが多数存在する．2009

その使用方法は必ずしも簡単なものではなく，上級者によって年にネットリサーチティムドライフ [6] が行なったアンケート

公開されるネイルレシピは，特にビギナーのネイル愛好家に

では，4 割の女性がネイルアートを施していることを示しておとっては，非常に有用な情報源であり，セルフネイルの盛り上り，ネイルレシピの需要は非常に高いことがわかる．多くの研がりを支えているといえる．

究者が料理レシピに注目し，テキスト分析からレシピを検索す

公開されているネイルレシピの数は増加しているが，その種るシステムを構築している．しかし，本研究では，近年，ネイ類や難易度は多種多様であり，自分の好みや技量にあったネイルアートを施す人が急激に増加しているため，ユーザの気分やルレシピを見つけ出すことは容易ではない．すなわち，個人に状況を考慮したネイルレシピ検索システムの開発を行う．先ず，とって有用となるネイルレシピを効率的に検索することが可能

人手でラベリングしたネイルレシピを学習データとし，Webなシステムを構築することの意義は非常に高いと考えている．

ページ上のネイルアートを施している 1 ステップごとの画像及そこで本研究では，ユーザの気分と状況を考慮したネイルレシ

びテキストから，各特徴量を推定することが可能な分類器を構

ピ検索方式の提案を目的としている．具体的には，Web 上から築する．そして，スライドバーの項目である，雰囲気，イベン収集した画像付きネイルレシピに対して，合致する雰囲気，適ト，道具，難易度，カラーの 4 つを入力データとし，構築した切な場面，道具，難易度，カラー情報に関するメタデータを付分度器を用いることにより，条件に合ったネイルレシピから順与することで，ユーザの気分や状況に適したネイルレシピの検に検索する．今回は，画像から爪領域をを手動で選択しなけれ索を目指す．メタデータの付与方法としては，ネイルレシピのばならないが，最終的にネイルレシピを投稿すると全自動で検テキスト分析および画像分析を行うことで行うことを検討する．

索できるシステムを開発することを目指している．将来的には，さらに，各メタデータの値をスライドバーを用いて直感的に入ネイルレシピ検索の専用の Web サイトを作成し，ユーザにネ力することが可能なインタフェースを開発すると共に，この入イルレシピを検索することを目的とする．

力値に合致するネイルレシピを動的に提示することにより，直堀らは，インターネット上から服の画像と服に対するコメ

図1

ネイルレシピ検索システム概要ントを取得することによって，ユーザの持っている服に似合うコーディネートを検索するシステムを構築することを目的としている [7]．本研究では，ネイルレシピを対象としており，場所に対応しているかだけでなく，ユーザの好みや腕も考慮している．
津田らは，爪の反射率の違いと指の対称性に注目し，光源の位置を推定することなく照明による気変化を軽減させる爪領域抽出法を提案している [8]．この研究の目的は，身近な携帯端末
図 2 ネイルレシピの例での利用を想定した 3D ネイル重畳シミレーションシステムを構築することであり，本研究では完成図だけでなく，ネイルのレシピを検索するシステムの構築する．しかし，本研究は完成図から爪範囲を手動で選択しなければならない．そこでこの爪領域抽出法を使用することで課題を克服することができるのではないかと考えている．
高田らは，手動でメタデータを付与した料理レシピのテキス
トとの類似度を用いることにより，未知の料理レシピに対して，気分に対応するメタデータを自動的に付与する手法を提案している [9]．単一特徴ベクトルを用いたメタデータ自動付与方式に関して，複数のシナリオを用いた評価実験を行なったところ，シナリオに差はあるが手動でメタデータを付与したものに近い実現している．食材名は，本研究における機材に相当するが，この方法では，毎回ユーザが手動で情報を登録しなければならず手間がかかってしまうため，本研究では，レシピに使用されている機材の数をユーザが選択することによって検索する．
上述の通り，ネイルおよびその他のアイテムに対するレシピ分析を行う研究が数多く行われているが，本研究にて実施しているテキスト及び画像の分析を用いるネイルレシピの検索は行われていない．

3. ユーザの気分と状況を考慮したネイルレシピ検索方式

精度を得ることができていた．本研究は，ネイルレシピを対象とし，テキストだけでなく画像を分析することで更に高い精度でレシピを検索することを目指す．

本節では，提案手法であるユーザの気分と状況を考慮したネイルレシピ検索方式に関して説明する．提案手法の概要（3. 1

三野らは，ユーザのスケジュールに合わせて，カロリーを節）を述べると共に，ネイルレシピへのメタデータ付与（3. 2減らすダイエットのためのレシピ検索システムを提案してい節）および，システム構築に向けた検討（3. 3 節）について述る [10]．この研究は，最終的に決められた日にちまでに目標体べる．

重に達すれば途中経過は考慮されないが，本研究では，一回一3. 1 提案手法の概要

回の検索でユーザを満足させなければならない．

Web 上に公開されている人手でラベリングしたネイルレシピ

赤澤らは，冷蔵庫にある食材の分量や賞味期限を考慮した結果レシピランキング手法を提案し，レシピの探しやすさを考慮した，2 段階に別れた検索結果を提示するシステムを実装した [11]．被験者実験を行うことにより，提案システムの基本的な有用性を確認することができた．この研究では，食材に ID，食材名，食材分量，賞味期限の４つ情報を取得することによりを学習データとし，各レシピのテキスト及び画像から各特徴量を推定することが可能な分類器を構築する．本研究では，図 2のように 1 ステップごとに画像とテキストによる解説を付与したネイルレシピを想定している．この分類器を用いて，Web 上から収集したテキスト及び画像付きのネイルレシピに対して，雰囲気，イベント，道具，難易度，カラーの 5 つの項目に関す

図 3 システムの流れるメタデータを付与する．メタデータを付与することにより，入力されたネイル気分情報に対して，ユーザの気分に合った

図 1 のようなスライドバーをユーザが動かすことで，ユーザのネイルレシピを検索するには，各ネイルレシピにメタデータを気分や状況を反映させることが可能なインスタラクティブなネ付与する必要があり，各ネイルレシピにメタデータを付与する

イルレシピ検索システムの開発を行う．ここで，本研究におけには，メタデータを作成する必要がある．そこでメタデータをるユーザの気分や状況とは，スライドバーの各項目のことを示作成するために，ネイルレシピ内のテキストおよびネイル完成している．

画像を分析することによって，スライドバーの項目である，雰提案するネイルレシピ検索システムの流れをデータベー
ス作成モジュールと検索モジュールに分けて説明する (図 3)．
データベース作成処理（ 1 ） Web 上からネイルレシピを収集．
（ 2 ） ネイルレシピ内のネイル画像からは色情報を抽出し，テキストからは特徴を抽出．
（ 3 ） 抽出したデータを用いて，メタデータを付与し DB に囲気，イベント，道具，難易度の 4 つの気分項目，更にカラーチャートについてのメタデータを作成する．
表 1 にレシピから抽出できると考えられるメタデータとして登録する各気分項目の分析手法の例を示す．
表1

メタデータとして登録する各項目の分析手法の例

項目

気分分析手法

雰囲気

キュート「ハート」，「レース」などの格納．
レシピ検索処理（ 1 ） ユーザがスライドバーおよびカラーチャートを入力してネイルレシピを問い合わせる．

ワードが使用されている．
イベント
道具

シック

カラーの明度が低い

オフィス

カラーとパーツが少ない

パーティ

カラーとパーツが多い

少ない（ 2 ） (1) の入力値とレシピの類似度を分析．
（ 3 ） 類似度の高い順にレシピを検索．
本研究では，ネイルレシピを独自に作成することは行わない．

rednails [5] のように，ネイルグッズの通販サイトが公開しているネイルレシピや，個人ブロガーが公開しているネイルレシピ
から，図 2 のような 1 ステップごとに画像およびテキストによ

機材の数が基準を超えなかった場合多い

機材の数が基準を超えた場合

難易度

簡単

工程数が少ない
シールが使用されている

難しい

工程数が多い細い筆が使用されているる解説を掲載したネイルレシピを収集する．

3. 2 ネイルレシピへのメタデータ
本節では，ネイルレシピのメタデータ付与に関して述べる．

以下，テキスト分析手法（3. 2. 1 節）を述べると共に，画像分析手法（3. 2. 2 節）について述べる．

3. 2. 1 テキスト分析手法
ネイルレシピ中には，雰囲気に関連する形や模様の情報，イベントに関連する機材の種類や数の情報，道具の名称，難易度に関係する工程数など様々な情報が存在する．このことから，SVM を用いてレシピを学習し，気分項目「雰囲気」が “キュート” なのか “シック” なのか等の各気分項目の特徴ベクトルを作成する．
また，項目「イベント」や「難易度」においては“細い筆”や “ストーン” などの機材やパーツの種類や数により特徴を見つけられると考えられる．このことから，機材・パーツ辞書を作成することで，項目「イベント」や「難易度」が判別可能になると考える．
また，レシピの工程が多ければ多いほど難易度が高く，少ないと難易度は高くないと考えられる．従って，項目「難易度」においては，レシピの “工程数” も考慮する必要がある．工程数は，動詞の数を用いることで判別できると考えられる．

3. 2. 2 画像分析手法
本研究ではスライドバーで選択可能な気分項目の他に，ユーザがカラーチャートから色を選択することによって，選択した色に近いネイルレシピを検索するシステムを提案している．

図 4 インスタラクティブな検索システム A

3. 2. 2 節で説明したテキスト分析のみでは複数の色が存在するため，主要な色を特定することは困難である．しかし，ネイルレシピの完成図の画像分析を行えば，主要な色を特定できると考える．以下に提案する画像分析手法を示す．
（ 1 ） ネイルレシピのネイル完成画像を取得．
（ 2 ） (1) の画像から，ネイルアートを施している部分を手動で抜き出す．
（ 3 ） 選択した範囲がどのような色合いになっているか分析．
（ 4 ） (3) で得た色をレシピのメタデータとして登録．

3. 3 システム構築に向けた検討
本研究はインタラクティブなネイル検索システムを目標とす
る．図 4 に将来的に目指すネイルレシピ検索結果の例を示す．
左の検索結果は「キュート」で「ピンク色」という条件でレシピを検索したものである．もし，検索結果がイメージと異れば，スライドバーを変更することで新たな検索結果が表示される．
このようにカラーチャートをピンクから紫に変更すると，図 5のような検索結果を得ることができる．このようなインタラクティブに検索可能なシステムがあれば，ユーザが求めているものをより早く手に入れることができる．

3. 3. 1 プロトライプシステムの実装例
提案するレシピ検索システムの実装に向けて，以下の手順で

図 5 インスタラクティブな検索システム B

プロトタイプシステムの実装を行った．
（ 1 ） 雰囲気，イベント，道具，難易度，色の異なる 3 つのネ
イルレシピを用意．
（ 2 ） 各ネイルレシピに対して，雰囲気，イベント，道具，難易度，色の全ての項目に手動でメタデータを付与．
（ 3 ） 作成した検索システムに，3 つのネイルレシピとネイルレ（ 5 ） (4) で入力した結果が，スライドバーで選択した条件に近いネイルレシピが順に検索されているとなっているかをユーザが評価．

3 つの気分を入力し，それぞれの出力結果の一番初めに検索されたネイル画像の結果を図 6 に示す．

シピに対して項目別に手動で付与したメタデータを挿入．

1 回目の入力は，「道具が多い」，「難しい」，「青色」という条件（ 4 ） ユーザがスライドバーの項目を動かすことで，個人に合っで検索した結果である．2 回目の入力は，「キュート」，「黄色」とた雰囲気，イベント，道具，難易度，色を選択．

いう条件で検索した結果である．3 回目の入力は，「キュート」，ログを利用した画像とテキストからの組み合わせ検索，第 29 回
人工知能学会全国大会論文集．1H2-5，2015.
[8] 津田藍花，上野智史，避澤茂之，照明による輝度変化の影響を考慮した携帯端末用ネイルアートシミュレーションに関する検討，電子情報通信学会技術研究報告． PRMU， パターン認識・メディア理解 110(381)， 59-64， 2011-01-13，2011.
[9] 高田夏彦， 上田真由美， 森下幸俊，中島伸介，類似度分析に基づく未知レシピへのメタデータ自動付与方式の実験的評価，情報処理学会研究報告データベースシステム（DBS），2014-DBS160(13)，1-7，2014.
[10] 三野陽子，小林一郎，ユーザのスケジュールに柔軟に対応するダイエットのためのレシピ検索, 第 23 回人工知能学会全国大会，
1A4-4，2009.
[11] 赤澤康幸，宮森 恒, 冷蔵庫食材を考慮した料理レシピ検索シス
テムの提案, 第 4 回 DEIM Forum 2012, E1-2, 2012.

図6ネイルレシピ検索結果「難しい」,「赤色」という条件で検索した結果である．
それぞれ入力に合った検索結果が得られたと考えられる．
今後は更に分析するレシピ数を増やし，メタデータの追加および調整，またメタデータの妥当性の確認を行う予定である．

4. ま と め
本稿では，Web 上から収集した画像付きネイルレシピの画像及びテキストを分析することで，個人にとって有用なネイルレシピを検索するシステムを提案した．提案システムでは，既存のネイルレシピに対して雰囲気，適切な場面，道具，難易度，色情報に関するメタデータを付与することによって，ユーザの気分や状況を考慮したネイルレシピをインタラクティブに検索することが可能となる．現段階では手動でメタデータを付与しているが，今後は，特徴量を推定することが可能な分類器を構築することにより，自動でメタデータを付与システムを開発する．さらに，ネイルレシピ数が少ないため Web 上からネイルレシピを収集し，データ数を増やして実験を行う必要がある．

謝辞

本研究の一部は，JSPS 科研費 16K00425 および 26330351による．ここに記して謝意を表す．

文献[1] 「ネイル白書 2016-17」調査結果 概要, 日本ネイリスト協会
https://www.nail.or.jp/publish/nail report.html,(2017 年 1 月 16 日 アクセス)[2] Cookpad https://cookpad.com[3] 楽天レシピ http://recipe.rakuten.co.jp[4] おりがみくらぶ http://www.origami-club.com[5] rednails
https://www.rednails.jp[6] ネットリサーチティムドライフ,
http://www.dims.ne.jp/timelyresearch/[7] 堀 和紀， 岡田 将吾， 新田克己， オンラインファッションカタ