DEIM Forum 2017 P8-3

料理画像の色情報を用いたレシピ選別支援平川 芽依† 牛尼 剛聡‡ 角谷 和俊††関西学院大学総合政策学部メディア情報学科〒669-1337 兵庫県三田市学園2-1‡九州大学大学院芸術工学研究院 〒815-8540 福岡県福岡市南区塩原4-9-1
E-mail: †{drx25928,sumiya}@kwansei.ac.jp,‡ushiama@design.kyushu-u.ac.jp
あらまし
近年，多くの人々が，料理のレシピをレシピサイトに投稿するようになり，インターネット上でレシピの共有が一般的になってきた．レシピサイトに投稿されたレシピには，料理の完成写真が添付されることが一般的である．完成写真
は，ユーザがレシピを決める一つの重要な要因となっている．従来のレシピ検索においては，主にテキスト情報が利用されてきたが，レシピの完成写真の情報を用いることにより，テキストのみからは抽出できないレシピの特徴を利用してユーザに利便性の高い選別支援機構を実現できる可能性がある．本論文では，料理の完成写真を利用して，ユーザのレシピの選別を支援するための手法について検討した結果を示す．レシピサイトに投稿されたレシピの完成写真に利用されている写真データの色情報を利用し，３次元空間上に料理画像を配置することでレシピの全体像を可視化し,把握できるようにすることで，満足度の高い選択を実現するための手法を提案し，実験により有効性を評価する．
キーワードレシピ，cookpad，色，写真，テキスト，推薦

1.はじめに近年，インターネットの利用者が増え，インターネッ
ト上で様々な情報の共有が行われている．そうした中で，レシピサイトを利用したレシピ情報の共有が一般化している．例えば，代表的なレシピサイトである
cookpad[1]では，2016 年 2 月において．187 万件以上のレシピが投稿されており，のべ月間利用者数は 2014
年 9 月時点で 4493 万人以上である．また，人気レシピが分かる人気順検索などが利用できる有料のプレミアム会員サービスの会員数も，2013 年 6 月には 100 万人を突破している[2]．このことから，レシピサイトにおけるレシピの活用は一般的になっており，膨大なレシピからユーザの嗜好と目的に合ったレシピの選別支援の重要性が増大している．
従来，レシピ検索に代表されるレシピの選別支援手法
では，レシピに含まれるテキスト情報を利用するものが多かった．しかし，投稿者によってレシピに付与するタイトルや紹介文の書き方に多様性があるため，ユーザが注目する特徴をユーザがレシピ内のテキストとして記述していない場合には，対象とするレシピを同定できない場合が多く，問題となっている．
一方，レシピサイトに投稿されるレシピの多くには，投稿者が調理した料理の完成写真が添付されており，サムネイルとしてレシピタイトルとともに表示される．レ
シピの完成写真は，料理の特徴を短時間で直感的に解りやすくユーザに伝えることができる．そのため，料理の完成写真は，ユーザが膨大なレシピの中から目的とするレシピを選別する際の重要な手がかりとなっている．
我々は，レシピに添付された料理写真を用いることで，よりユーザの意図に近いレシピの選別を支援することができる可能性があると考えた．そこで，本研究では，料理画像の物理的な特徴の中でも，特に色情報を利用した，レシピの選別支援をすることを目的とする．
ユーザのレシピの選別を支援する手法様々な方法が考えられるが，本論文では も一般的なアプ ー であると考えるキーワード検索を 定する．レシピは料理の手順を示した文書であり，レシピを検索するユーザは料理を ることを目的とすることが と どである．そこで,
本研究では,と料理画像の色情報にき，レシピの選別を支援すること，ユーザがより満足度の高いレシピ選択ができるように料理ごとにレシピの全体像を料理画像の色情報を元に提示し，選別できるように支援すること目的とする．
りたい料理に応じてレシピサイトからレシピを選別するために，料理名を直接キーワードとして検索することが考えられる．しかし，レシピサイトには，一つの料理に対して多い場合には何百万件のレシピが投稿されており，また，一般的ではないオリジナルレシピも多数投稿されている．よってユーザは全体像を見ることができず，一部のレシピだけでレシピを決めてしまうため，満足度は低くなる．そこで,本論文では,料理画像の特徴量を利用してユーザの効率的なレシピ選別を支援する手法を提案する．
本論文の構成は以下の通りである．第２章では，料理画像の色情報にくレシピの全体像の可視化に関する研究を紹介する．第３章では,第２章のまとめを述べる．

2.料理画像の色情報に可視化

くレシピの全体像の本節では，料理画像の色情報にくレシピの全体像の可視化による，レシピの選別支援手法に関して述べる．
本手法では，ユーザがより満足度の高いレシピ選択ができるように料理ごとにレシピの全体像を料理画像の色情報を元に提示し，選別できるように支援することを目的とする．
レシピサイトにおいて，ユーザはさまざまな方法でレシピを選別する．我々は，ユーザがユーザを選別する
際の状況は以下の２種類に大別出来ると考える．
１．ユーザが りたい料理が具体的に決まっており，それを るためのレシピを選別する場合
２．ユーザが りたい料理の大まかなカテゴリは決まっているが，具体的にどのような料理を 成するかは明確に決まっていない場合
上記の１のように，ユーザが りたい料理の具体的なイメージが決まっている場合は，従来のキーワード検索による検索で対応可能である．一方， りたい料理の具体的なイメージが明確になっていない場合には，ユーザは料理の大まかなジャンルのみを指定して，その検索結果の中から自分が りたいと考えるレシピを選別する．本
研究では，２に示すような，大まかな料理のジャンルのみを指定して検索を行い，検索結果を閲覧しながら 成したい料理のレシピを選別する場合を対象にする．
ユーザが検索結果を見ながらレシピを選別する際に重要であるのは，検索開始時には，ユーザが検索結果に対して明確なイメージを有していないことである．古典的な検索システムにおいては，ユーザが明確な検索要求を持ち，それに合致するアイテムを効率的に取得することを目的としていた．しかし，今回対象とする状況においては，検索開始時にはユーザの検索要求が明確になっているわけではない．たとえば，ユーザがパスタを食べたいと思ってレシピを検索する場合に，検索する以前にりたいレシピの種類が決まっていない状況は珍しいことではない．システムを「パスタ」というキーワードで検索して検索結果として返されるレシピの中には，検索する前にはユーザが思ってもみなかった種類のパスタのレシピが含まれている可能性がある．そして，それらの未知の種類の料理や，検索前には 定していなかった特徴を有するレシピが 終的に選別される可能性がある．
上記のような，検索結果を見ながら選別するようなプセスにおいては，ユーザは検索対象に対する全体像が把握できていない場合が多い．一般的なレシピ検索シス
テムのインタフェースでは，検索結果は料理写真のサムネイルを含むリストとしてユーザに提示される場合が多い．このようなリスト形式の表示では，検索結果が数百，数千になる場合には，全てのレシピを確認することはなく，上位の数件～数十件のレシピを確認しただけで，検索結果の閲覧をやめて選別対象を決定する場合が多い．このような場合には，ユーザが閲覧しなかったレシピにユーザが興味を持つ可能性があるレシピが含まれていたとしても，ユーザはそれを候補とすることが出来ない．
上記の問題点を解決するために，本研究では，検索結果の料理写真のサムネイルを用いて，ユーザに多数の検索結果に含まれる料理の全体像をユーザが効率的に把握可能とし，全体像を踏まえて，満足度の高い選別を行う手法を開発した．料理の全体像を把握するためには，個別のレシピではなく，類似した料理のレシピのクラスタが 成でき，そのクラスタの中から，ユーザが興味を持つクラスタを指定できるようにすることが重要である．
そこで，本研究では，料理画像の色の特徴を利用して，料理画像を３次元空間上に配置する．この空間上で，類似した種類の料理が近傍に存在すれば，ユーザは，大量のレシピを簡単にクラスタリングでき，料理の全体像を構成しやすくなると考えられる．

2.1 関連研究
2.1.1 食材に対する好き いを考
ピ推薦手法

レシピの料理写真について考 されていなかった．それに対し本研究では，レシピサイトに投稿された料理写真のサムネイルの色情報を利用して，ユーザの目的に近いレシピの選別を目的としている．

2.1.2 食材画像認を用いたレシピ推薦

丸山ら[4]は，イルデ イスでの画像認 を 利用したレシピ推薦システムを提案している．このシステム
では，食材にス ートフ ンをかざすだけで, レシピが次々に推薦される．これにより，従来のキー入力のみのシステムよりも直感的で簡単なレシピ検索が可能となる．この研究は，さまざまな色情報に 目した点については，本研究と同じであるが，画像の色情報を各料理の色情報と近い完成写真をクラスタリングし，ユーザがレシピを検索する際に，余 なテキストを入力しなくても推薦することができるようにする事を目的とする本研究とは異なる．

2.1.3 SNS による文化と風土の可視化
久保田ら[5]は，代表的な写真専用 SNS である
Instagram を利用し，特定ので投稿された膨大な 写真データを視覚的な観点から分析し，の「見どこ」と「見ご 」を分かりやすく伝える動的な可視化を行っている．この研究は，写真データを視覚的な 観点から分析し，色空間を利用するとこ は本研究と 同じであるが，写真の投稿時間を利用すること，そし て RGB 色空間，HSV 色空間，L*a*b*色空間の３つの色 空間を利用していることは，本研究との違いである．

2.1.4 写真の視覚的特徴を考した特徴の可視化

Hochman ら[6]は，画像の彩度，色相，明度など，写真本来の視覚的特徴に注目し，Instagram に投稿された写真から，都市やそこで生活する人々の活動の特徴を可視化する手法を提案している． Hochman らは写真のもつ色相や撮影日時などのパラメータにいて二次元平面上に配置する手法を提案しているのに対し，本研究では，写真を三次元の色空間に配置する可視化手法を提案する．

2.2 提案手法
本章では，本論文で提案する，膨大なレシピの中から料理画像の色情報を用いてレシピを推薦する手法について述べる．なお，本手法で用いる料理画像は，クックパッド株式会社が提供しているレシピデータに含まれるものを用いて実験を行う．

2.3 料理画像の色情報の抽出した料理レシ

膨大なレシピ選択がある中で，ユーザの意図にあったレシピの推薦手法として，高畑ら[3]は,ユーザの調理とレシピ閲覧から食材単位での嗜好を推定する手法を提案した．これはに提示された料理レシピの中から実際に「調理した」・「調理しなかった」という行動を分析することにより個人の嗜好を推定している．しかし，この研究は，ユーザの調理とレシピ閲覧に 目したものであり，料理レシピに投稿された

本節では，料理画像を選別する際に使用するのイメー
ジカラーの表現方法について述べる．本手法では料理画像の代表色を HSV 値で表現する．HSV 値とは，色を色相（Hue），彩度（Saturation），明度（Value/Lightness）の 3 要素として表現するものである[7]．RGB 値を利用せず，HSV 値を利用する理由として，RGB 値は，原色を混合して色を決めるため，色相を直接決めることが出来ないからである[8]．各レシピの料理画像の HSV 値を算出し，H 軸，S 軸，V 軸を元に３次元空間上に配置し，全体像を可視化する．

2.4 レシピ選別支援システム
色情報を用いることで，３次元空間上に料理画像を配置することは，従来のレシピサイトに比べ，ユーザが料理ごとにレシピの全体像を把握することができるため，満足度の高い選択につながることが期待できる．料理画
像の色情報の提案手法にいた選別支援を行うために，ユーザは，はじめに検索したい料理のキーワードを入力する．すると検索結果のレシピに含まれる料理画像が，色情報にいて３次元空間を回転させることができ，任意の方向から分布を確認できる.
本研究では，システムの開発のために，Processing[9]を利用した.

2.5 レシピの可視化の例
本システムを利用してレシピを可視化したイメージを図
１，２，３，４，５，６，７，８に示す．

図３：人参など赤色が比較的多いサラダの例

図４：大根など白色が比較的多いサラダの例
図１：サラダを検索した例

図５：葉っぱなどの緑色が比較的多いサラダの例
図２：パスタを検索した例

後に，ユーザが欲しいレシピを見つけた際，その料理画像を選択すれば，そのレシピサイトに飛ぶことができる．

2.6 予備実験
本節では，被験者実験を利用して提案手法の有効性を評価する.評価のためのベースラインとして，従来のレシピサイトを利用する.

2.7 実験内容

図６：ホワイトソースのパスタが比較的多い例

本実験では，クックパッド株式会社が提供している「パスタ」，「サラダ」の各上位１００件のレシピを用いた．従来のレシピサイト上位１００件の「サラダ」レシピと，本研究の上位１００件の「パスタ」レシピ，従来のレシピサイト上位１００件の「パスタ」レシピと，本研究の上位１００件の「サラダ」レシピの２パターンに対して，被験者にレシピの選択タスクを行ってもらった．内容は，３分以内にレシピを選択してもらい，新しい発見があったか，もしかしたら他にもっといいレシピがあったかもしれないと思う，などである．タスクを実施したあと，各アンケートに回答してもらった．アンケートはよくあてはまる，あてはまる，どちらでもない，あてはまらない，全くあてはまらないの５段階評価で実施した．被験者は，１０代から５０代までの男女７名１４名である．その実験結果を図９，１０，１１，１２に示す．

図７：黄色いソースのパスタが比較的多い例

図９：サラダの提案手法と比較手法の結果

図８：ミートソースのパスタが比較的多い例図１０：パスタの提案手法と比較手法の結果同じ実験を行う予定である．また，各料理１００件のレシピのみを対象にしているのでレシピの数も増やしていきたい．今回は主に HSV 値を利用して実験を行ったのでRGB 値を利用し，ディザリングすることも検討している．さらに，レシピに含まれている材料にも今後は 目していきたい．そして，今回のアンケートを実施した人数が少なかったため，今後は増やし，同じアンケートを実施する予定である．

4.謝辞
本研究を遂行するにあたりクックパッド株式会社が提供するレシピデータを利用した．また，九州大学の牛尼剛聡准教授に協力をしていただいた．ここに記して謹 で感謝の意を表する．

図１１：サラダの検索時間の比較結果

参 考
1.
2.
3.

4.

5.

図１２：パスタの検索時間の比較結果
2.8 考察
実験結果から，多くのユーザは，本システムを利用して料理画像を見てレシピを決めると今まで知らなかった新しいレシピを発見することができることがわかった．
さらに，従来版の方が，他にあったかもしれないと思ったユーザが多いことがわかった．しかし，本研究では画像が小さくて見 らいというコメントが多かった．
また，時間に関しては，サラダは従来の方が早いがパスタは提案手法の方が早い結果となった．この差が生まれる原因については今後検討していく必要がある．

3.おわりに近年，多くの人々が，レシピサイトへ自らが った料理のレシピを投稿し，ネット上でレシピの共有を行っている．その際， と どのレシピには料理の完成写真が添付されており，ユーザがレシピを決める一つの重要な要因となっている．本研究では，ユーザがレシピ検索をする際に，テキストのみからは抽出が困難なレシピの特徴を料理写真の色情報を用いることにより，ユーザの意図に近いレシピを推薦することができると考えた．
今回の実験では，対象とした料理レシピの種類が少ないため，今後，料理の種類を増やし，他のレシピでも6.

7.
8.
9.

文

献

Cookpad cookpad.com
クックパッドの利用率光る！レシピサイトシェア早わかり http://ascii.jp/elem/000/000/951/951053/
高畑 麻理，上田真由美，中島介，食材に対する好き いを考 した料理レシピ推薦手法の提案, 第3 回データ工学と情報 ネジメントに関するフ ーラム, 2011
丸山拓馬、秋山瑞樹、柳井啓司, 食材画像認 を用いたレシピ推薦システム電子情報通信学会技術研究報告. IE, 画像工学 111(478), 43-48, 2012 食材画
像認 を用いたレシピ推薦システム
久保田 麻美, 牛尼 剛聡 SNS による文化と風土の可視化, 第 7 回データ工学と情報 ネジメントに関するフ ーラム,2015
N ． Hochman ， L ． Manovich ， Zooming into an
Instagram City：Reading the local throughsocial media，2013．
色空間とは http://www.pekostep.com/html/hsv.html
HSV とは http://dic.pixiv.net/a/HSV
Processing とは－processing 学習ノート
http://www.dimprovement.jp/learning/processing/class/about-processing.html

+