DEIM Forum 2017 C2-3

レシピ詳細情報を用いた調理用音楽推薦手法の提案
周潔†

清光英成†

大月一弘†

†神戸大学 国際文化学研究科 〒657-0011 兵庫県神戸市灘区鶴甲 1-2-1
E-mail: †{166ce57c@stu,kiyomitu@}kobe-u．ac．jp
あらまし 本研究は，ユーザがインターネット上のレシピを使って料理を作ることを主な状況として，調理中に再生する楽曲・声・音の選択・構成方法を提案する．レシピから得られる情報に基づいて，プレイリストの長さと曲の順序を決定することに加えて，ユーザにレシピの遂行程度を知らせる曲或いは音を出すことを可能にしようとする推薦システムである．ユーザが推薦されたリストに対して示す，無視あるいは拒否するなどの行為に応じて，推薦システム起動の中止や適切な反応を出すアイディアも議論する．
キーワード レシピ,楽曲推薦,工程管理

や内容ベースフィルタリング[1]に基づいてユ

1. はじめにーザの嗜好と類似した曲を推薦することが多い

スマートフォンの普及により，音楽アプリを使って音楽を聴く人が増えている．ウォークマ
ンやＭＰ３等のプレイヤのように，単一な楽曲リストをリピートして聞くだけではなく，ユーザの好みとユーザが置かれている様々な状況に応じてふさわしい曲を推薦して，ユーザ自身の嗜好を広げることも，音楽アプリが注目される理由の一つである．音楽推薦に関する研究が盛んに行われている．研究内容を推薦システムのアルゴリズムから見ると，協調フィルタリング

図 2 従来の楽曲推薦（図 2）．また、推薦された曲から見ると，数多くの曲を周波数やジャンル，歌詞[2]，音の高低差等の特徴から分類，タグづけなどを行って整理している．さらに，人の脳波数の変動から推測された気持に対して，再生リストを即時更新し，ユーザの状況と曲のマッチングをとることも実現できるようになってきた．このような推薦方法に加えて，未知の楽曲推薦などのユーザがセレンディピティを得られるような手法が提案できれば有用である．

図 1 提案手法

本論文における提案は，ユーザがインターネッる提案の主たるところである．

ト上のレシピを使って料理を作ることを主な状

レシピの各工程の処理がこの提案の重要な部

況として，ユーザがレシピを比較的長い時間注分である．まずレシピから工程を三つの部分に視している場合にレシピから得られる情報に基分け，それぞれの工程にかかる時間のデータにづいて，プレイリストの長さと曲の順序を決定

よって推薦リストの長さや楽曲や音声を入れるする一方，ユーザにレシピの遂行程度を知らせ位置が決められる（図 1）．数多くの楽曲を推る曲或いは音を出すことを可能にするものであ薦することだけでなく，ユーザが料理する時にる．そしてこの推薦システムにおいては、ユー

レシピの遂行程度を知らせる音或いは声もプレザが推薦されたリストに対して示す、無視するイリストに入れる．またユーザが聞いた履歴があるいは拒否するなどの行為に応じて、適切なない曲の前奏やサビ部分を抽出した視聴サービ反応を出すことも可能にする．

スを提供することにより，ユーザが新曲に触れ現在インターネット上のレシピを参考にしながる機会を増やすことで，音楽配信・流通の活性ら料理をする人が多く，このような人が本論文化も期待できる．

で提案する推薦システムを使うことによって，2.1. 推薦システムの起動モデル

調理の過程をもっと楽しむことが出来る推薦手

まず，インターネット上でユーザが使用する法の実現を目的としている．

料理レシピアプリの個人アカウントと音楽アプ

2. 提案手法

リの個人アカウントとを連携し，両アプリの中

本論文における研究は、インターネット上のに存在する情報の共有化を確保する．次に，料レシピを使って料理する時に、ユーザの状況に理アプリを起動後にユーザの行動と状況を観察適した曲を推薦することを目的とする．これをすることにより，連携された音楽アプリ（推薦実現するために、推薦システムの起動、調理用音再生フェーズ）を起動させるかどうかを決定のレシピの分析に基づくプレイリストの生成とする．具体的には，もしユーザはあるレシピの提案の有用性を議論することが、本論文におけ画面を注視して，その画面に止まる時間が一定以上，あるいはスクリーンをタッチ・スクロー

推薦システム起動

ル操作によりレシピの画面を見るなどの行動を示すならば，連携された音楽アプリを起動させ推薦拒否ることが出来る．図 3 に推薦システムの起動モデルを示した．本システムの推薦を拒否できるようにしてある．
「ユーザの行動を観察」はス

ユーザの行動を観察

マートフォンならびに調理ディバイスの操作をセンシングするという意味である．観察によりレシピが決定し調理が開始されると推測できれ一定時間操作無ば推薦音再生フェーズへと移行する．ここで，「レシピの閲覧操作が一定時間ない」ならば調促し音無視理が開始されない可能性がある．対策として「促し音」を発生させ，一定回数無視されるならば推薦システムを停止させる．

推薦音再生フェーズ

推薦システム停止

図 3 推薦システムの起動モデル

レシピ

第一部分：
食材の準備（野菜を洗う、粉をこねるなど）
画面を下にスライドする行動を観察することにより「準備できたか」のようなヒントを出す
第二部分：
料理を作る（食材を炒める、パン生地を発酵するなど）

ジリンリンリン、ピーンのような遂行程度を知らせる音を流す

第三部分：
料理を盛り付ける「おめでとう」、「頑張たね」のような楽しさを感じさせる独特な音を流す

図 4 レシピの大まかな工程分割
2.2. レシピの工程分割間のデータの収集も必要である．そのために、ユ調理の手順をレシピの工程として分割する．

ーザの調理の熟練度に関する入力欄を設置して，まずは図４に示したように大まかに 3 分割とす

レシピ検索アプリを登録するときに入力させ、る．各レシピの工程にかかる時間が計算できる

併せてユーザが料理アプリを使う時間を測るこため，異なるレシピに対する推薦リストの全体とによって，ユーザの料理熟練度の変化による時間の長さも変わる．したがって，推薦リストは料理の準備時間を推定することが可能になる．

三つの部分に分けて曲を入れる必要がある．具

第２部分には、パンの発酵、料理の味付けやソ体的には，料理の準備部分（第１部分）と料理をースの煮込みのような比較的時間の掛かる作業作る部分（第２部分）と最後の仕上げ部分（第３が含まれている．レシピの中には概ね、このよう部分）に分けてリストを生成する．第１部分には、な工程にかかる時間が掲載されており、その情食材を洗ったり切ったりするなどの工程が多く報を使って，リストの第２部分の長さも決めらあり、調理の熟練度によって、同じレシピに対しれる．第３部分には、盛り付けなどの短い工程がても，準備に要する時間が違うと思う．ユーザがあり，ユーザに完成した楽しさを感じさせる独レシピの工程遂行のどの段階に至ったのかを把

特な音を入れることを考えている．

握する為に、画面を下にスライドする行動を観

3. 推薦音リスト

察する一方，材料の量からする平均的な準備時調理時に再生する楽曲・声・音の再生リスト候補を作成する．レシピを工程に分割しているのＧＰＳ機能により測られるユーザのいる場所

で，各工程での再生時間がレシピのメタデータ[6]（自宅、他人の家、野外など）とユーザ最近から計算される．の嗜好にも注意する必要がある．

3.1. レシピ特性抽出3.3. 推薦リストの特徴

まずは料理を作るのにかかる時間を推測する．

料理にはその調理工程が時系列としてありレ対象のレシピの各工程にかかる時間を作り方のシピの工程を考慮することでユーザの遂行程度説明の中から時間に関するキーワードを抽出しを把握することができる．あるユーザのレシピて保存し，それを総計して全行程にかかる時間の調理時間がプレイリストの長さ（再生時間）でを推定する[4]．次にレシピに載せた準備材料かある．図５に示したようにユーザの行為とレシらこの料理の味を推定する[3]．機械学習を用いピの内容・行程を分析することによりプレイリて，調味料の分量や組み合わせを入力し，分類問ストの長さ（再生時間）が決められる．

題を扱えるアルゴリズムに基づいて推定用モデユーザの熟練度に応じて，各工程に要する時ルを作り，対象の料理レシピに対して味の分類間が変化する．また，レシピのある工程が要求すを出力する．現在開発が進んでいる形態素解析る迅速性や寛容性なども選曲に利用できる．こAPI を用いれば，レシピから料理が用意される対れを利用して，推薦音リストをレシピの工程毎象（個人、家族、パーティー、ピクニック）、料に作成する．

理の種類（和食、洋食、中華）、料理の難易度[5]3.4. ユーザの状況に応じた再生やヘルシー度等の特徴の抽出も容易だと思う．

3.2. ユーザの状況把握

本提案においては，適した曲や音を出すタイミングと実際の状況に合わないことを防ぐため推薦システムにより推薦された曲でユーザのに，ユーザの状況に応じた再生を提案する．

テンションを高めることを目的とする場合，ユ調理の中断と考えられる状況，例えば，調理中ーザの個人状況を確実に把握することにより、に電話やメールが来るとすぐレシピの画面からシステムは最もふさわしい曲が提供できる．こSNS アプリの送受信や通話の画面に移動し，相手れを実現するために，ユーザが料理を作る時間に返事することがよくある．この状況に対して（朝昼晚、休日、季節など）とスマートフォンのは連携された音楽アプリを一時停止させる．ユ

図 5 プレイリストの長さを決める要素

ーザがレシピの画面に戻ったら停止時点近辺かる．

ら再生を再開する．

3.5. 推薦する曲の特徴

また，スマートフォンの操作以外から推測さレシピの分析によって，例えば 3．3 で述べたれるユーザの状況として，マイクロフォンで周第２部分において，料理が出来上がる何分か前りの声を収集し，状況の変化と捉える．例えば，から、短いＢＧＭやある曲の面白いプレリュー

子供の泣き声で調理を一時中止して他の事を始ドを流して，ユーザに注意を与えることなどもめるなどである．詳細な音声理解はここでは論必要だと思う．その場合、音源をインターネットじないが，この状況への対応としては，調理中のから収集し，様々な作業（煮る、炒める、発酵す

工程の残り時間を知らせることが考えられる．

るなど）に適した独特な曲や音を選んで流して調理の工程には，ユーザに作業はなく一定時いくこととする．そして、これまでに提示されて間待つ必要があるものがある．この作業しないいる推薦研究の成果も用い，料理の特徴とユー部分の時間によって推薦音リストの構成方法をザの状況に応じた曲をプレイリストから優先推変える必要がある．具体的には，食材をレジで２薦することとする．

分加熱するような短い場合には，その部分に相またレシピの内容が変わったら，分類された応しい時間で推薦音リストを構成すれば良い．

工程の長さも必ずそれに従って変わる必要があ

ところがパンを焼く，材料に味を馴染ませる，生る．しかし，工程が掛かる時間の長さとユーザ地を冷蔵庫で寝かせるなどのように比較的長いの状況に適する全ての曲の総時間長が一致する

場合には異なる構成方法が必要である．推薦音プレイリストの生成が難しいことである．特にリストの長さが決定したら，推薦音リストに適ある工程の総計時間が５分未満の場合によっした曲を挿入し，ユーザが料理しない工程に取て，その時間の長さと当時の状況にぴったり合り掛かるときに，システムは対話形式で推薦のう曲を探すことも複雑である．そしてユーザが可否「はい」と「いいえ」のボタンをポップアッ

聞いた履歴がない曲をどの手法を使って推薦リプしてユーザに答えを求める．もしユーザは「はストに挿入し，ユーザに聴かせることも考えてい」のボタンを押したら，この工程の推薦音を流いる．ここで私の主張は図 6 に示したように，し始める．無視された或いは「いいえ」のボタン

まずレシピの特徴とユーザの状況に相応しい何を押したら，次の工程に至る一分間前辺りに予曲を収集し，その中にユーザが知らない曲と購告音を出し，プレイリストの順番通りに再生す入した曲を一定の割合で抽出し，メドレーを自図 ６ 未知の曲をリストに挿入する

動生成するシステム[7]を使ってメドレー曲を作って推薦リストに入れる．メドレーの特徴は何曲を繋げて演奏できるので，これを用いて工程が掛かる時間の長さに対してプレイリストの長さを把握することも容易になる．そして調理がもうすぐ終わる時に，ラジオのようにユーザにとって未知の曲のある部分をＢＧＭとして流しながらまとめの言葉を声に出す．この提案方法により，ユーザが新曲を聞ける一方，音楽配信・流通の活性化にも有用であると思う．

4. まとめ推薦された曲に対して，ユーザはお気に入りのボタンを押す或いはスマートフォンのアプリのように人が出る声を検測する機能を用いて、推薦された曲に合わせて歌う声を検知できた場合などにおいては，この提案の有用性が認識できるのではないかと思う．逆にもしユーザが推薦された曲に対して気に入らない，あるいは推薦システムを終止する行為が何度も観察された場合には、本論文の提案のどこかを改良する必要があることになる.
参考文献

[1]
[2]
[3]

[4]

[5]

[6]

[7]

神嶌敏弘． 推薦システムのアルゴリズム(1)． 人工知能学会誌, 2007, 22．6: 826-837．
舟澤． 歌詞の印象に基づく楽曲検索のための楽曲自動分類に関する検討[J]．
第 71 回情処全大, 5R-2, 2009．
松長 大樹, 道満 恵介, 平山 高嗣, 井手 一郎, 出口 大輔, 村瀬 洋 “料理画像及び素材一覧に基づく料理の味推定に関する検討”, 電子情報通信学会技術報告， 信学技報,vol.114 ,no.204,pp.31-36,2014．
杉本和香奈, 佐藤哲司． "既存レシピを活用した並行調理スケジュール法の提案と評
価．" 電子情報通信学会 他共催, 第 5 回データ工学と情報マネジメントに関するフォー ラ ム DEIM2012 論 文 集 , E8-1 (Mar ．
2012) (2012)．
岩本純也, 宮森恒． "調理の難易度を考慮したレシピ検索システムの提案．" 第 4 回データ工学と情報マネジメントに関するフォーラム (DEIM Forum 2012), E1-4． 2012．
木村友紀, 伊藤淳子, 宗森純． "位置情報に関連付けた推薦曲提示サービスの提案．"
情報処理学会研究報告グループウェアとネットワークサービス(GN) 2007．32 (2007GN-063) (2007): 115-120．
宮本真治, 小野祐平, 三浦雅展 “ポピュラー楽曲の音楽音響信号を対象としたサブメ

ドレー自動生成システム”, 日本音響学会音楽音響研究会資料 MA2013-60, 2014, 23-28．