DEIM Forum 2016 F2-1

画像選択操作を用いた雰囲気特徴量に基づくカフェ検索システム
窪田崇†

北山 大輔†† 工学院大学情報学部コンピュータ科学科 〒 163–8677 東京都新宿区 1 丁目 24 番 2 号
E-mail: †j110042@ns.kogakuin.ac.jp，kitayama@cc.kogakuin.ac.jp
あらまし今日，ユーザは飲食店検索サイトや最寄カフェ検索アプリ等を用いてカフェの検索を行っている．このようなサイトやアプリは決まった店舗名や最寄りのカフェを検索する場合には有効である．しかしこれらの検索方法ではユーザの嗜好に合った雰囲気であるか判断しづらい．一般的にカフェを利用する際は店舗の雰囲気や見た目がユーザの嗜好にあっているか判断することが多い．そこで本研究では店舗の内観の画像の選択操作のみを用いて，ユーザが重視する雰囲気を表現する特徴量を推定する手法を提案する．また，提案手法に基づいたカフェ検索システムを構築する．本手法では，ユーザは画像を選択するが，画像特徴量は用いず，店舗のメタデータを用いて雰囲気特徴量を抽出する．ここで言う雰囲気特徴量とは店舗の持つ席数，席が広い等の空間設備，一人でや友人と等のシチュエーション，料理や雰囲気の評価値である．雰囲気特徴量を用いてユーザの嗜好を推定し，選択されなかった店舗の中からも嗜好に合う店舗を提示する．
キーワード

カフェ検索，画像検索，嗜好推定，雰囲気特徴量

1. は じ め に本稿の構成は以下の通りである．2 節では雰囲気特徴量の決定，算出方法，ユーザの嗜好推定に関して述べる．3 節ではプ

今日，ユーザは食べログ [1] のような飲食店検索サイトやロトタイプシステムのシステム構成および雰囲気特徴量のパラ

Cocafe カフェ検索 [2] やカフェサーチ [3] のような最寄カフェ検メータ決定，ユーザの嗜好推定の結果について述べる． 4 節で索アプリを用いてカフェ検索を行っている．このようなサイトは評価実験について述べる．5 節では関連研究について述べる．

やアプリは決まった店舗名や最寄のカフェを検索する場合には

6 節ではまとめと今後の課題を述べる．

有効である，しかし飲食店検索サイトでは一つの店舗に対し多くの情報が出てしまうため，また最寄カフェ検索では現在地か

2. 雰囲気特徴量に基づくカフェ検索

ら近い店が表示されるだけのため，店舗の雰囲気がユーザの嗜

本節では雰囲気特徴量の決定，算出方法，ユーザの嗜好推定好に合っているかは判断しづらい．例えば席の広さは席数の属に関して記述する．雰囲気特徴量には食べログ [1] のメタデー性で検索可能であるが，人によって広さの感じ方は異なり，直タを用いる．

接席数で検索する事は妥当とはいえない．また雰囲気も属性が

2. 1 雰囲気特徴量の種類

準備されていることがあるが，サービス側が準備したものであ

まず，ユーザが選択した画像に対し，どのメタデータに偏りり，その表現の仕方に依存する，例えば「デートにオススメ」が見られるかを確認するために予備実験を行った．実験では，は，落ち着いた雰囲気やオシャレな雰囲気のニュアンスを含ん「自分の好みに合う店舗の画像を選択し，選択後どのような基でいるが，ユーザは「デート用途ではない」と判断することが準で画像を選んだか」を調査した．被験者は大学生 4 名（男 3：ある．

女 1，21〜24 歳）である．予備実験の結果を表 1 および表 2 に

一般的にはカフェを検索する際は店の雰囲気や見た目をが嗜好に合っているかで判断することが多いと考えた．そこで，我々示す．図中の空白部分はメタデータが存在しない部分である．
また，偏りが見られたメタデータのみを抜粋した．

は，店舗の雰囲気を直感的に判断し選べるように店舗の内観のまず被験者 A と D はカフェの広さについて考え写真を選ん画像のみを提示し，ユーザは嗜好にあう雰囲気の画像を選択すでいる．A と D の選んだ店舗の座席数を見ると A は比較的少ることで，ユーザが重視するカフェの雰囲気を判定する手法をない席数を，D は比較的多い座席数の店舗を選択していること提案する．雰囲気の判定には店舗のメタデータを用いた雰囲が分かり，このことから写真から座席数をある程度判断してい気特徴量を使用する．なお，ユーザは画像を選択するが，写真ると考えられる．また C はカフェの食べ物について考えて選の撮影された位置，明るさ，角度，撮影する機材などによってんでいる．これも表 2 を見ると，料理，酒、ドリンク，の評価異なるため，本手法では画像特徴量は用いない．ここでいう雰

値が高く，写真から食べ物の評価が高い店を選ぶ事が出来ると囲気特徴量とは店舗の持つ席数，席が広い等の空間設備，一人考えられる．また，空間設備はカフェの場合ほぼ全ての店舗にでや友人と等のシチュエーション，料理や雰囲気の評価値であ「オシャレな空間」や「落ち着いた空間」のタグが付けられてる．最後に雰囲気特徴量を用いてユーザの嗜好を推定し，ユーいる．しかし「席が広い」や「ソファー席あり」といった全てザに選択されなかった店舗の中からも嗜好にあう店舗を探し提の店舗にはついていないが選択された店舗の中で同時に出現し示する．ているのが見受けられた．シチュエーションも空間設備ほどで図 1 座席数の分布
図3

シチュエーションのタグの分布

図 2 空間設備のタグの分布はないが「デート」や「家族・子供と」といった店舗全体から見て出現数の少ないタグが見受けられた．そこで本論文では座席数，空間設備，シチュエーション，評価値のメタデータを用い雰囲気特徴量を抽出する．

図 4 CafePicSel 画像選択画面

2. 2 雰囲気特徴量
次に雰囲気特徴量の基準について記述する．
座席数 全店舗データの席数ヒストグラムを用いて，座席数の少ない店舗，普通な店舗，多い店舗に分類する．手法として四分位数を用いる．第 1 四分位数以下の範囲を座席数の少ない店
舗，第 3 四分位数以上の範囲を座席数の多い店舗とする．
空間設備

一般的タグと特徴タグに分類する．全店舗データの空間設備タグの数の上位 60 ％のタグを一般タグ，それ以外を特徴タグとし，特徴タグを利用する．これは一般タグは，どのカフェでも現れやすく，ユーザ選択の特徴を表さないためである．
シチュエーション 空間設備と同様に，一般的タグと特徴タグ
図 5 CafePicSel 結果表示画面に分類する．全店舗データのシチュエーションタグの数の上位

60 ％のタグを一般タグ，それ以外を特徴タグとし，特徴タグを利用する．

標準偏差より座席数の少ない店舗をユーザの嗜好とする．また

評価値 1.0-5.0 の評価値を用いる．また数値は，メタデータ

平均値が多い店舗の範囲に該当する場合，平均値−標準偏差よをそのまま利用する．食べログの評価値は 5 種類あり，料理，り座席数の多い店舗をユーザの嗜好とする．平均値が普通な店

サービス，雰囲気，コストパフォーマンス，酒、ドリンクであ舗の範囲に該当する場合は平均値−標準偏差から平均値＋標準る．それぞれを独立した特徴量として扱う．

偏差の範囲を利用しユーザの嗜好とする．

2. 3 ユーザの嗜好推定とカフェ検索

空間設備

ユーザが選択した店舗のタグに特徴タグが 2 店舗以

最後に，雰囲気特徴量を用い，ユーザの嗜好推定を行う．ユー

上出現する場合それをユーザの嗜好とする．

ザが選択した店舗集合に対し，前述の雰囲気特徴量を用い嗜好

シチュエーション ユーザが選択した店舗のタグに特徴タグが推定の基準を以下に示す．

2 店舗以上出現する場合それをユーザの嗜好とする．

座席数 ユーザが選択した店舗の座席数の平均値と標準偏差を評価値 ユーザが選択した店舗の評価値のそれぞれの平均値を求める．平均値が少ない店舗の範囲に該当する場合，平均値+求め，それ以上をユーザの嗜好とする．

表 1 予備実験結果 1[選択基準，座席数，評価値] 各平均値（）内は標準偏差
被験者/選択店舗数

選択基準

A/4 店舗B/5 店舗

座席数

料理サービス雰囲気

コスパ

酒、ドリンク

こじんまり，落ち着けそう

43.5（17.9) 3.14（0.10） 3.19（0.19） 3.34(0.19)

3.1(0.19)

3.14(0.16)

窓からの景色がよさそう

40.7（22.2）

3.01(0.00)

3.01(0.02) 3.02(0.01) 3.02(0.02)

3.03(0.01)

C/7 店舗

食べ物がおいしそう

63（34.0）

3.36(0.21)

3.33(0.16) 3.43(0.10) 3.13(0.21)

3.25(0.17)

D/7 店舗

席が広そう，人が居なさそう

61（11.2）

3.03(0.03)

3.08(0.10) 3.10(0.13) 3.02(0.03)

3.03(0.05)

表 2 予備実験結果 2[空間設備，シチュエーション]
被験者

A
B
C

空間設備

シチュエーション

オシャレな空間 4、落ち着いた空間 4、ソファー席あり 3

一人で 2、友人・同僚と 4席が広い 2, カップルシートあり 1

デート 2

オシャレな空間 3、落ち着いた空間 1、ソファー席あり 1

一人で 5、友人・同僚と 3

カウンター席あり 2、席が広い 1、オープンテラスあり 1

家族・子供と 1

オシャレな空間 5、落ち着いた空間 1、ソファー席あり 2

一人で 4、友人・同僚と 3

カウンター席あり 4、オープンテラスあり 1、掘りごたつあり 1 デート 1

D

オシャレな空間 2、落ち着いた空間 1、ソファー席あり 2

一人で 5、友人・同僚と 5

カウンター席あり 3、席が広い 2デート 1

推定した嗜好に合致する店舗を検索結果として表示する．

3. プロトタイプシステム：Cafe PicSel

4. 1 実 験 内 容
今回，プロトタイプシステムと既存手法である食べログとの比較を行った．実験内容としては被験者がそれぞれの手法を 5

本節ではプロトタイプシステムのシステム構成および雰囲気分間使用し，検索結果の中から被験者が気に入る店舗を記録し，特徴量のパラメータ決定，ユーザの嗜好推定の結果について記

気に入る店舗数により検索の精度を評価する．本実験では，プ述する．

ロトタイプシステムの画像操作時間は実験時間の 5 分間には3. 1 システム構成含めていないが，操作時間は平均 184.1 秒であった．これは全食べログ [1] から新宿の全ての店舗 4973 件のメタデータをス

331 店舗の写真から選択しているためである．また，両システクレイピングにより取得し，データベースを作成した． データ

ムの利用後に被験者は各雰囲気特徴量の中で重視したものを回

ベースからカフェのタグがついた店舗 389 件の画像を使用し，答した．これを用いてプロトタイプシステムの嗜好推定に関し

図 4 のように縦 3 枚×横 5 枚のアルバム形式で表示する．ユーて有用性を測った．なお，被験者は 7 人である．

ザの画像選択後，選択された店舗のメタデータから雰囲気特徴

4. 2 実 験 結 果量を抽出する．抽出した雰囲気特徴量からユーザの嗜好推定を

まず，プロトタイプシステムと食べログの比較結果を表 3 にし，嗜好に合う店舗を決定する．選択された店舗および選択さ示す．表 3 より，食べログに比べプロトタイプシステムの方がれていないがユーザの嗜好に合う店舗を左右に表示する図 5．

気に入る店舗を多く見つけた被験者は 7 名中 5 名と多かった．

また表示された店舗名を選択することでその店舗の詳細を表示

また平均店舗数でもプロトタイプシステムの方が食べログに比する．

べ気に入る店舗を約 0.5 件多く見つける結果になった．被験者

3. 2 雰囲気特徴量のパラメータ決定

1，4，5 は 5 分以内にプロトタイプシステムの出力を見終えて389 件の店舗データを用いて，雰囲気特徴量のパラメータをいる．これらの被験者は，プロトタイプシステムに比べ食べロ算出した．なお，評価値については平均をそのまま用いるため，グが優位な状態であった．これらの事から本手法は食べログよプロトタイプシステム特有の閾値はない．

り気に入る店舗を見つけやすい可能性がある．

座席数 図 1 より 34 席以下の店舗を座席席の少ない店舗とし，次にプロトタイプシステムが推定した嗜好と被験者が重視す

80 席以上の店舗を座席数の多い店舗とする．

る雰囲気特徴量の比較結果を表 4 に示す．表 4 では，各被験者

空間設備

図 2 より「席が広い」，「オープンテラスあり」，「カッに対して，上段にプロトタイプシステムの嗜好推定結果，下段プルシートあり」，「スポーツ観戦可」，「バリアフリー」，「座敷に被験者の回答を示す．座席数に関しては，標準偏差が 28 以上あり」，「ライブ・生演奏あり」，「掘りごたつあり」，「 カラオケを特になしと判定している．被験者 4 に関しては、座席数デーあり」，「ダーツあり」の計 10 個のタグを特徴タグとして使用

タのある店舗が 1 件しか無かったため，標準偏差は 0 としていする．

る．シチュエーションに関しては，全被験者がシチュエーショ

シチュエーション 図 3 より「デート」，「家族・子供と」の計ンに対する重視項目が無かった．この事より嗜好推定結果と被２個のタグを特徴タグとして使用する．

験者が明示的に考えている重視する特徴量が異なることを確認

4. 評 価 実 験
本節では評価実験について述べる．

した．
最後に，検索の精度を測った際のプロトタイプシステムで選択された気に入る店舗の選択内訳について表 5 に示す．プロト

表 3 食べログとの比較実験結果
被験者 1 被験者 2

被験者 3 被験者 4 被験者 5

被験者 6 被験者 7 平均 (標準偏差)

食べログ

6件

6件

6件

5件

7件

3件

9件

6.00 件（1.91）

プロトタイプシステム

4件

7件

9件

6件

3件

4件

13 件

6.57 件 (3.33)

表 4 嗜好推定比較結果 (上段:嗜好推定結果，下段:アンケート結果)
被験者

座席数 (平均値/標準偏差) 空間設備

シチュエーション 評価値

被験者 1

特になし (105/53）

--

雰囲気

特になし

席が広い-

コスパ

普通 (72/23)

席が広い，バリアフリー

デート

雰囲気

広い

席が広い-

料理

普通 (47/20)

オープンテラスあり，カップルシートあり

デート

雰囲気

広い

掘りごたつ

-

サービス

広い (120/0)

--

雰囲気

普通席が広い-雰囲気

普通 (53/23)

席が広い-

雰囲気

普通席が広い-雰囲気

特になし (55/42)

--

コスパ

普通席が広い-コスパ

特になし (80/53)

席が広い，オープンテラス，カップルシート

デート

雰囲気

普通

-

-

サービス

2件

2件

4件

3件

被験者 2
被験者 3
被験者 4
被験者 5
被験者 6
被験者 7
一致件数

表 5 プロトタイプシステムの結果内訳 () 内は表示件数
選択した画像の店舗
嗜好に合う店舗

被験者 1

被験者 2

4 件 (7 件)

0 件 (9 件)

0 件 (0 件) 7 件 (18 件)

被験者 3

被験者 4

被験者 5

被験者 6

被験者 76 件（13 件） 4 件 (4 件) 1 件 (6 件) 0 件 (10 件) 6 件 (14 件)
3 件 (18 件)

2 件 (6 件) 2 件 (4 件) 4 件 (58 件) 7 件 (19 件)

タイプシステムでは，写真を選択する時に選んだ店舗と推定し分析をし観光地を推薦するシステムの研究も行われている [6]．

た嗜好に基づく店舗の 2 種類を表示している．被験者には 5 分

またメタデータを用いた研究では，店舗名や住所，電話番号な間のうち先に嗜好に基づく店舗のリストから閲覧するように指どをキーワードとし，当該店舗の情報ではない部分を活用した示した．そのため嗜好に基づく店舗の閲覧中に 5 分が経過した新規店舗の発見・登録システム [7] や，地図上で選択した店舗

被験者 2，6 の選択した店舗は 0 件となっている．また被験者のメタデータやその店舗からの距離を判断し動的に店舗を推薦

1 は，嗜好の条件に合致する店舗が無かった．これらの被験者するシステムが研究されている [8]．嗜好推定の分野では，ユーを除くと嗜好に基づく店舗数は，4 人中 2 人の被験者で多い結ザの好き嫌いを事前に学習し価値判断基準モデルを構築するこ果となった．店舗数の平均では選択店舗で 4.25 件，嗜好に基づとで情報推薦をする研究が行われている [9] [10]．

く店舗で 3.25 件と選んだ店舗が多い．選択店舗は写真が気に本研究では，カフェの内観の画像のみを用いた画像選択操作入った店舗であり，そもそも被験者の嗜好に合いやすいといえを行い，ユーザに店舗の雰囲気を判断してもらう事で，カフェる．それに近い精度を嗜好推定に基づく店舗でも出すことが出検索システムを構築した．また店舗の持つメタデータを使用し来ていると考えられる．また，表 4 の結果を合わせて見た際，ユーザの嗜好を推定することで，選択されなかった店舗を推薦

被験者 2，7 において嗜好はないが，システムとしてデートをしている．

出力した際，嗜好に合う店舗を多く選ぶ場合があった．これは特徴タグが被験者は意識をしていなかったが結果的に嗜好に合う店舗を出したと考える．

5. 関 連 研 究

6. お わ り に本研究では，カフェの内観の画像のみを使ったカフェ検索システムを構築した．メタデータから雰囲気を表す雰囲気特徴量を決定抽出することで，ユーザの嗜好を推定し，選択されなかっ

現在，画像選択操作を用いた研究では，画像情報を含む blog

た店舗の中からも嗜好にあう店舗を提示した．今後の課題としの記事に対し画像のみを検索結果として表示することで blog のて，今回は利用しなかった店舗の説明文やユーザのレビュー文内容を直感的に判断することが出来るシステム [4] や，気になを用いることでより精度の高い画像選択による検索およびユーる画像を選択することで画像が拡大され，その行動に基づきカザの嗜好推定が出来ると考える．

テゴリやタグに重みを付けるユーザの嗜好を抽出する研究が行われている [5]．また，複数回の画像選択により，ユーザの嗜好謝辞

本研究の一部は，平成 27 年度科研費若手研究 (B)(課題番号：15K16091) によるものです．ここに記して謝意を表すものとします．

文
[1]
[2]
[3]
[4]

[5]

[6]

[7]

[8]

[9]

[10]

献

http://tabelog.com/
https://itunes.apple.com/jp/app/cocafe-kafemappu/id483713206
https://itunes.apple.com/jp/app/kafesachi/id448558919
井原 伸介，林 貴宏，尾内 理紀夫：画像情報を含む blog 記事検索システムの開発，電子情報通信学会論文誌，Vol.J89-D，No.6，pp.1236-1247
加藤 桃子，安井 顕誠，原田 史子，島川 博光：ユーザの潜在的な嗜好・要望・目的に適う段階手に名目的地推薦，FIT2014，
O-037， 第 4 分冊，pp.405-406
奥薗 基，牟田 将史，平野 廣美，益子 宗，星野 准一：複数人での旅行における観光地推薦システムの提案，情報処理学会研究報告，Vol.2015-HCI-162，No.19， pp.1-8
相良 毅，喜連川 優：Web からの効率的な新規店舗の発見・登録支援手法，情報処理学会論文誌，Vol．48，No.SIG11(TOD34)，
pp.49-57
加藤 誠，大島 裕明，小山 聡，田中 克己：地域コンテキストを考慮した動的な空間に基づく地理的情報例示検索，情報処理論
文誌，Vol.52，No.12，pp.3448-3460(2011)
奥 健太，中島 伸介，宮崎 純，植村 俊亮，加藤 博一：状況依存型ユーザ嗜好モデリングに基づく Context-Aware 情報推薦システム，情報処理学会論文誌：データベース，Vol.48，
No.SIG11(TOD34)，pp.162-176(2007)
奥 健太，中島 伸介，宮崎 純，植村 俊亮，加藤 博一：情報推薦におけるユーザの価値判断基準モデルに基づくコンテキスト依存型ランキング方式，情報処理学会論文誌：データベース，Vol.2，No.1，pp.57-80(2009)