「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月

食材画像認識を用いたモバイル料理レシピ推薦システム
丸山 拓馬†

樋爪 和也†

柳井 啓司†† 電気通信大学大学院, 情報理工学研究科, 総合情報学専攻〒 182-8585 東京都調布市調布ケ丘 1-5-1
E-mail: †{maruya-t,hizume-k}@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし 本論文では、モバイルデバイスでの画像認識を利用した料理レシピ推薦システムを提案する。提案システ
ムはスマートフォン側で食材の一般物体認識をリアルタイムに行う。食材にスマートフォンをかざすだけで次々と料理レシピを推薦するので、従来のキー入力のみのシステムよりも直感的で簡単な料理レシピ検索が可能となる。一般物
体認識手法としてカラーヒストグラム、SURF を用いた Bag-of-Features 表現を採用している。実験では 30 種類の食材を対象にして 44.9% の精度で目的の食材を認識でき、上位 5 位までを考慮すると 80.9% を達成すること確認した。
キーワード

モバイル, スマートフォン, 画像認識, 一般物体認識, レシピ

1. は じ め に
近年、画像認識技術の進歩がめざましく、特に対象の見え方に違いがある一般物体を対象にした研究分野では Bag-of-Features 手法を始めとして認識率の大幅な改善を促す画期的な手法が提案されている。またスマートフォンを始めとしてモバイルデバイスで計算処理能力が向上しており、画像認識をモバイル上で行う研究に関心が集まっている。本研究では特に料理レシピ推薦をテーマにあげ、画像認識を用いることでユーザに直感的な操作で料理レシピを推薦できるシステムを提案する。

図 1: システムの流れ

2. 関 連 研 究
食材認識を用いた研究として、京都大学・美濃研究室のスマートキッチンプロジェクト (ユーザ主導型調理支援システム) [1] がある。これは調理過程を設置したカメラでトラッキングして、ユーザに次の調理動作を自動支援することを目標としている。スマートキッチンを実現するための研究は意欲的に継続されており、[2] をはじまりとして、調理者の手の動きを時間制約とした食材追跡 [3]などがある。また食材の料理レシピ推薦方法としての余剰食材の使い切りを考慮した料理レシピセットの提案に

図 2: システムの画面詳細関する研究 [4]、冷蔵庫の食材を考慮した料理レシピセッ
トの推薦 [5] などの研究が存在する。

おこなう。その手順を次に示す。

このように食材の画像認識、レシピ推薦はそれぞれ多まずスマートフォンを食材にかざすと、食材画像を認くの研究が存在するものの、モバイルデバイスでの画像識して左側が上位認識結果となる食材候補リストに反映

認識とレシピ推薦を組み合わせた研究は今まで存在してする (図 2：右上赤枠)。この時、1 位に分類された食材いない。

はその食材名をクエリとしてレシピリストを取得してレ3. 提案システム

シピ情報が即座にレシピリストに表示される (図 2：左側緑枠)。2 位以下の食材は画面タッチすることでレシピリ

提案システムでは画像認識もしくは手動により食材カストに反映ができる。最後にレシピリストから目的のレテゴリを決定して、COOKPAD [6] より得られた料理レシピをタッチするとそのレシピの情報の詳細が表示されシピリストを表示、料理レシピを選択して詳細の表示をる。また比較用に手動選択によって食材の種類を選び、の結果から SURF と RGB カラーヒストグラムを 3frameで組み合わせた場合に最も高い 44.9% の精度を達成した。また食材候補上位 6 位まで考慮した際に 84.1% の精度が得られることがわかった。

図 4: 上位 k 個まで考慮した
図 3: 各手法の認識精度

認識精度

次に食材名をタッチすることでレシピ表示することも可能である (図 2：右側青枠)。

4. 画像認識手法
提案システムで採用している画像認識手法を説明する。
i) 画 像 特 徴
画像特徴としてカラーヒストグラムと SURF を利用している。カラーヒストグラムは画像を 12×12 分割した各部分画像について、各色次元を 4 分割した計 64 次元のヒストグラムを抽出する。色空間には RGB、HSV、La*b*を採用している。SURF は通常のキーポイント検出と、12 × 12, 24 × 24, 48 × 48, 96 × 96 のマルチスケー
ルグリッド検出の 2 種類を利用する。
ii ) Bag-of-Features 手法
Bag-of-Features 手法によって画像特徴を量子化して、1000 次元のコードブックを作成する (N = 1000)。分類
時には KD- tree を構築して O(logN ) のコードワードを比較するだけで判別できるように高速化している。
iii ) マルチフレーム認識
認識に動画を使う場合に通常は 1 フレームごとに特徴を抽出してそれを分類するが、マルチフレーム認識では複数フレームの特徴を抽出したあとにその特徴を統合して分類する。システムでは連続フレームを対象にフレーム数 n を n = 1, 2, 3, 4, 5 で採用している。
iv ) 線形 SVM
分類には線形 SVM を用いている。ここで式 1 のように変形して、サポートベクトルと重みの計算を事前にしておくことで、計算の回数を O(DN ) から O(D) に減らして高速な計算を実装している。

y(x) =NX

wi K(x, xi ) + bi=1

= x·N
Xwi xi + b(1)

i=1

5. 実験

ここではシステムの評価として、実際に販売されている食材とその認識結果の例を示す。代表的な特徴量とその手法の食材の認識精度を図 3 に、上位 k 個までを考慮した際の認識精度を図 4 に示す。
レシピリストには最上位の結果が反映されるが、実験

SURF+color と color の認識精度に大きな差がなかったので、高速化のためにデモシステムではでは color のみを用いた。SURF の有無で精度に大きな差がなかった
原因としては、食材の認識には色が重要な手がかりであることと、単純なカラーヒストグラムではなく、局所パッチのカラーヒストグラムをベクトル量子化して、BoF 表現にして利用していることが考えられる。
30 食材を対象にカラーヒストグラム特徴のみで一回の分類に要する時間は Galaxy S2(Android2.2、1GHz DualCore) で 0.17 秒、HTC Desire HD(1GHz) で 0.39 秒であった。

6. ま と め
スマートフォンをかざすことで、30 種類の食材を認識してレシピを提示するシステムを提案した。画像認識の評価では 1 位の結果では 44.9% の精度、上位 6 位まで考慮した際に 84.1% の精度で食材を認識できることを確認した。今後は画像認識部分では色以外の特徴で安定的な認識をできるようにして 1 位で 70%、6 位までに 90%を達成したい。またシステム部分では以下の 3 点の改良を行いたいと考えている。

••

複数食品で条件検索を可能にする。
価格情報を考慮した料理レシピリストの推薦を行う。
• 冷蔵庫で撮影しておいた食材と組み合わせて推薦する。
なお、デモアプリケーションは以下の URL からダウンロードすることが可能である。

http://mm.cs.uec.ac.jp/maruyama/recipe/
文

献[1] 京都大学：“スマートキッチン（ユーザ主導型調理支援システム）”. http://www.mm.media.kyoto-u.ac.jp/research/skitchen.html.
[2] 橋本, 山肩, 角所, 美濃：“D-12-73 テクスチャに基づく食材識別の検討 (d-12. パターン認識・メディア理解, 一般講演)”, 電子情報通信学会総合大会講演論文集, 2006,
2, p. 205 (2006-03-08).
[3] 橋本, 森, 舩冨, 角所, 美濃：“外見の変化モデルを利用した調理中の食材追跡”, 画像の認識・理解シンポジウム(MIRU2009), pp. 1285–1292 (2009).
[4] 木原, 上田, 中島：“余剰食材の使い切りを考慮したレシピ推薦手法の提案”, 第 3 回データ工学と情報マネジメ
ントに関するフォーラム (DEIM) (2011).
[5] 高畑, 上田, 中島：“食材に対する好き嫌いを考慮した料理レシピ推薦手法の提案”, 第 3 回データ工学と情報マ
ネジメントに関するフォーラム (DEIM) (2011).
[6] クックパッド：“レシピ検索 no.1 ／料理レシピ載せるな
ら クックパッド”. http://cookpad.com/.