情報処理学会研究報告
IPSJ SIG Technical Report

特徴抽出器の学習と購買履歴を必要としない類似画像による関連商品検索システム
三宅 悠介1,a)

松本 亮介1,b)

力武 健次1,2,c)

栗林 健太郎1,d)

概要：BtoC の EC サイトで取り扱う商品の種類の増加に伴い，EC サイト利用者の通常の行動では全ての商品を見て回ることは困難であるため，多くの EC サイトでは効率的に商品を閲覧できるよう関連性のある商品を動線上に表示している．購買履歴等の情報が蓄積されないと関連商品を選定できない問題を解決するため，商品の持つ様々なメタデータを利用する手法や，視覚的な訴求力の強い商品画像を元にした，畳み込みニューラルネットワークを始めとした深層学習による精度の高い関連商品の選定手法が提案されている．しかし，適切な粒度のメタデータの整備に手間を要する問題や，深層学習のための大量の訓練デー
タセットと計算時間が必要となる問題から，これらが導入への大きな障壁となっている．本報告では，画像分類用の学術ベンチマークであり，EC サイト商品画像特性と類似する ImageNet において高い成績を出した Inception-v3 モデルを学習済みネットワークとして採用し，一般物体の特徴を強く表現する識別層に近い手前のプーリング層までから得られる特徴量をもとに近似最近傍探索により類似度を比較すること
で，特徴抽出器の学習と購買履歴を必要としない類似画像による関連商品検索システムを提案する．EC
サイトにこの類似画像による関連商品検索システムを導入し，画像のクリック率を商品カテゴリごとに計測することで類似画像による関連商品の有効性を検証した．

A search system of retrieving images of the similar products
without the requirement of the training of feature extractor and thepurchase history
Yusuke Miyake1,a)Ryosuke Matsumoto1,b)Kenji Rikitake1,2,c)Kentaro Kuribayashi1,d)Abstract: Electronic Commerce (EC) sites show items of the user’s interest following the flow for eﬃcient
browsing of the products. For enabling to choose the related products without the activity record of theusers, methods using the metadata and the images of the products to suggest a highly accurate choice bydeep learning with convolution neural networks have been proposed. Those methods, however, require thelarge amount of training data and calculation time with a properly structured product metadata, which
results in the impediment to the production system deployment. In this report, we propose a search systemof retrieving images of the similar products without the requirement of the training of feature extractor andthe purchase history, by comparing the similarity with the approximate nearest neighbor search based on thefeatures from the pooling layer before the identification layer, using the Inception-v3 model which claims agood result on ImageNet, an academic benchmark of image classification similar to that of EC site productimage characteristics. We implement this system to an EC site and measure the clickthrough rate of theimage for each product category to evaluate the eﬀectiveness of directing the user flow by showing the related
products by similar images.

1

2

GMO ペパボ株式会社 ペパボ研究所
Pepabo R&D Institute, GMO Pepabo, Inc., Tenjin, Chuo
ku, Fukuoka 810-0001 Japan
力武健次技術士事務所
Kenji Rikitake Professional Engineer’s Oﬃce, Toyonaka

c 2017 Information Processing Society of Japan
⃝

a)
b)
c)
d)

City, Osaka 560-0043 Japan
miyakey@pepabo.com
matsumotory@pepabo.com
kenji.rikitake@acm.org
antipop@pepabo.com

1情報処理学会研究報告
IPSJ SIG Technical Report

1. はじめに困難である．
学習済ネットワークの適当な中間層の出力を特徴量とし

BtoC の EC サイト市場規模は成長を続けており [23]，そて用いる手法がある [11]．この利用形態は特徴抽出器と呼れに伴い取り扱う商品の種類は増大している．EC サイト

ばれ，学習済ネットワークの中間層をそのまま利用するた

利用者の通常の行動では全ての商品を見て回ることは困難

め，再学習が不要である．しかしながら，対象となるタスであるため，多くの EC サイトでは効率的に商品を閲覧でクに対して効果的な学習済ネットワークを選定するためにきるよう関連性のある商品を動線上に表示している．そのは対象タスクと元になったタスク領域の類似性が重要であため，利用者の関心を効果的に高める関連商品を選定でき

り [3]，EC サイトの関連商品選定における効果的な学習済

るかどうかが，EC サイトにとって大きな関心事となる．

ネットワークの選定手法は確立していない．

関連商品を選定する手法として Amazon を始めとした多従来の協調フィルタリングや商品メタデータによる関連

くの EC サイトで導入されている協調フィルタリングがあ

商品選定手法による問題を解決するためには，購買履歴等

る [9]．協調フィルタリングは商品に対する利用者集団のの情報が不要で，分類用の追加情報としてではなく常に設

嗜好情報を用いて関連商品の選定を行う．しかしながら嗜定される商品メタデータの中から，導入先の EC サイトの好情報を選定に用いる特性上，嗜好情報となる購買履歴等

商品に依存しない学習不要で汎用的な学習済ネットワークの情報の蓄積が必要であり，新しい商品が選定結果に含まを特徴抽出器として用いて関連商品の選定に必要な情報をれない．これは商品の登録・更新が頻繁に発生し得る EC

抽出することが効果的である．

サイトにおいては問題となる．

本報告では，購買履歴等の情報が不要で，分類用の追加

協調フィルタリングを用いない関連商品の選定手法とし情報としてではなく常に設定される商品メタデータのうち，て，カテゴリ，色や原料といった商品メタデータによる分

視覚的な訴求力が高い商品画像を対象として，特徴抽出器類をもとに関連商品を選定する手法がある [2]．通常，商品として利用する学習済み深層畳み込みネットワークから得のメタデータは登録時に設定されるため，購買履歴等の情られる特徴量を用いて近似最近傍探索により類似度を比較報の蓄積に依存しないが，同一分類に含まれる商品の数がする，類似画像による関連商品検索システムを提案する．

増加すると関連性が低下する．下位カテゴリの追加といっ提案手法では，画像分類用の学術ベンチマークである Im-

た，より粒度の細かいメタデータを設定することでこの問

ageNet において高い成績を出した Inception-v3 モデル [5]

題を回避できるが，適切な粒度のメタデータを与えなけれを学習済み深層畳み込みニューラルネットワークとして採ばならないことにより商品登録時の負荷が高まり，EC サ

用した．Inception-v3 モデルは，EC サイトの商品画像特イトにおける販売者の利便性低下につながってしまう．そ性に類似した訓練データセットで学習を行っており，こののため，適切な粒度で分類するための情報を販売者の商品

深層畳み込みニューラルネットワークの一般物体の特徴を

登録時の作業を増やさずに獲得しなければならない．

強く表現する識別層に近い手前の層までから得られる特徴

メタデータの獲得手法として，自然言語による文章や画像といった非構造化データから機械学習を用いて分類に利量 [12] を，EC サイトの商品画像特性を考慮した高精度で汎用的な分類情報 [3] として利用する．

用できる情報を抽出する手法がある [18]．特に深層畳み込

提案手法の評価は以下の手順で行う．まず EC サイトにみニューラルネットワーク [21] を用いて高精度に画像を分

Inception-v3 モデルを採用した類似画像による関連商品検類する手法が多数提案されている [5], [14]．これらを購買索システムを導入し、導入先の EC サイトで独自に運用し履歴に依存しない商品メタデータのうち，常に設定されるていた簡易的なユーザーベース協調フィルタリング手法を商品画像や説明文に適用することで，余分な分類用の情報

用いた関連作品のクリック率と比較することで類似画像にを追加入力することなく，精度の高い分類情報を入手する

よる関連商品の有効性を検証する．そして，画像のクリッことができる．

ク率を商品カテゴリごとに計測することで商品種類による

しかしながら，これらの深層学習を始めとする機械学習

効果の差を評価する．

を用いた手法は，精度向上のために年々複雑化しており，

本論文の構成を述べる．2 章では関連商品の選定におけそれに伴い学習に必要となる訓練データセットと計算資る購買履歴等の情報とメタデータを利用する既存手法と課産，時間も増加している [4]．学習済ネットワークを利用す題について述べる．3 章では既存手法の課題を解決するたることでこれらを削減する手法も提案されているが [16]，めの提案手法について，特徴量抽出器と購買履歴を必要と完全に不要とするには至っていない．そのため，商品の登しない類似画像検索システムとその実装について述べる．

録・更新が常に発生する EC サイトにおいて，これらの深4 章では提案手法の有効性の検証を行い，5 章でまとめと層学習を始めとする機械学習を用いた手法を導入して，大する．

量の訓練データセットを最新化し，大量の計算資産と時間をかけて繰り返し維持し続けることは費用対効果の面から

c 2017 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

2. 関連商品の選定における協調フィルタリン
グあるいはメタデータを利用する既存手法とその課題
2.1 購買履歴等の情報を利用する商品選定の課題
1 章で述べた協調フィルタリングによる関連商品の選定
は類似性の判別に利用する対象によってアイテムベースとユーザーベースに分類することができる．アイテムベースの協調フィルタリングの場合，収集した嗜好情報を元に商品間の類似性を発見して選定に利用する．ユーザーベース
では，利用者間の類似性を発見して，類似する他の利用者が購入や評価した商品から選定する．
協調フィルタリングは購買履歴や評価等の嗜好情報をもとに類似性を判別する特性上，嗜好情報が集まらなければ商品の選定を行うことができない．購買履歴や評価が充分蓄積されていない利用者や商品に対して選定が行えず機会損失が発生する現象はコールドスタート問題 [10] と呼ばれ，利用者が増加し，商品の登録・更新が頻繁に発生するEC サイトにとっての課題となっている．
2.2 商品メタデータを利用する商品選定の課題
協調フィルタリングを用いない関連商品の選定手法として，1 章で述べた商品メタデータを用いた手法がある．通常，メタデータは EC サイトにおける販売者が商品登録時に設定するため，購買履歴等の情報に依存しないが，同一分類に含まれる商品の数が増加すると関連性が低下する．
そこで下位カテゴリの追加といった，より粒度の細かいメ
タデータを設定することでこの問題を回避できるが，適切な粒度のメタデータを与えなければならないことにより商品登録時の負荷が高まるため，販売者の利便性が低下してしまう．そのため，適切な粒度で分類するための情報を販
売者の商品登録時の作業を増やさずに獲得する必要がある．

2.3 非構造化データを利用する商品選定の課題
通常，商品のメタデータはデータベースに保存される [7]．
このとき，システムから検索に利用可能な分類の定義がされているデータを構造化データと呼ぶ．反対に，画像や自然言語で記述された説明文といった分類の定義がされていない状態のデータを非構造化データと呼ぶ [1]．これらの非構造化データから機械学習を用いて構造化可能なデータをルネットワークのひとつである Inception-v3 モデルは大規模画像認識の競技会である ILSVRC[14]2014 で高い成績を出した GoogLeNet[4] の後継であり，ILSVRC2012 の 1000
クラス分類タスクの Top-5 エラー率において，GoogLeNetの 6.67%に対して 3.46%という性能を示したモデルである．
同タスクを人が挑戦した場合，5.1%のエラー率であったという報告もあり*1 ，該当タスクにおいては一般的な人の識別能力を超える性能を有していると言える．
これらの非構造化データから構造化可能なデータを抽出して関連商品の選定に利用する手法を，購買履歴に依存しない商品メタデータのうち，常に設定される商品画像や説明文に適用することで，余分な分類用の情報を追加入力することなく，精度の高い分類情報を入手することができる．
しかしながら，これらの深層学習を始めとする機械学習を用いた手法は，精度向上のために年々複雑化しており，それに伴い学習に必要となる訓練データセットと計算資産，時間も増加している [4]．
ファインチューニングと呼ばれる，学習済ネットワークの獲得している知識を土台として追加学習を行うことで学習コストを抑える転移学習の手法がある [16] が，追加学
習を完全に不要とするには至っていない．また，より基本的な学習済ネットワークの利用方法として適当な中間層の出力を特徴量として用いる方法がある．この学習済ネット
ワークの利用形態は特徴抽出器と呼ばれ，その汎用性も確認されている [11]．この手法では学習済ネットワークの中間層をそのまま利用するため，再学習が不要であることが利点となる．しかしながら，対象となるタスクに対して効
果的な学習済ネットワークを選定するためには対象タスクと元になったタスク領域の類似性が重要であり [3]，EC サ
イトの関連商品選定における効果的な学習済ネットワークの選定手法は確立していない．
商品の登録・更新が常に発生する EC サイトにおいて，これらの深層学習を始めとする機械学習を用いた手法を導入して，大量の訓練データセットを最新化し，大量の計算
資産と時間をかけて繰り返し維持し続けることは費用対効
果の面から困難である．
ここまで述べたことから，既存手法の課題として以下の3 点を挙げることができる．
( 1 ) 購買履歴情報等を用いる関連商品の選定では，情報の蓄積が必要であり，頻繁に商品の登録・更新が発生す抽出して，関連商品の選定に利用する手法がある [18]．特に深層畳み込みニューラルネットワークを用いて画像を高精度で分類するモデルが多数提案されている [5], [14]．畳る EC サイトでは追従できない．

( 2 ) メタデータを用いる関連商品の選定では，購買履歴等の情報が不要であるが，同一分類の商品増加に対して，

み込みニューラルネットワークは，画像の局所領域の特徴

利便性を確保しながら適切な粒度のメタデータ整備す抽出を行う畳み込み層と，抽出した特徴を縮小し，位置感度を低下させるプーリング層を繰り返すネットワーク構造を持つ [8], [21]．畳み込みニューラルネットワークの層を多層にすることでより精度を向上させた深層畳み込みニューラ

c 2017 Information Processing Society of Japan⃝ることは困難である．

( 3 ) 構造化データを用いる関連商品の選定では，機械学習*1

http://karpathy.github.io/2014/09/02/what-i-learned-fromcompeting-against-a-convnet-on-imagenet/3情報処理学会研究報告
IPSJ SIG Technical Reportにより非構造化データから有効な分類を抽出できるが，



訓練に必要なデータセットや計算資産，時間が必要で# 学習済ネットワークの読み込みあり，これらが不要な学習済ネットワークの選定，利with tf.gfile.FastGFile(FLAGS.classify_net, ’rb’) as f:

用手法が確立していない．

3. 提案手法
2 章で述べた課題を解決するためには，以下の 2 つを達graph_def = tf.GraphDef()graph_def.ParseFromString(f.read())_ = tf.import_graph_def(graph_def, name=’’)with tf.Session() as sess:# 出力に用いる層の指定成する必要がある．

pool3 = sess.graph.get_tensor_by_name(’pool_3:0’)( 1 ) 購買履歴等の情報が不要で，分類用の追加情報として

jpeg_data = tf.placeholder(tf.string)

ではなく常に設定される商品メタデータの中から，導with file_io.FileIO(input_csv(), ’r’) as f:

入先の EC サイトの商品に依存しない学習不要で汎用

with file_io.FileIO(output_csv(), ’w’) as output:

的な学習済ネットワークを用いて関連商品の選定に必

writer = csv.writer(output, lineterminator=’\n’)
for line in f:

要な情報を抽出する

product_id, image = image_from_line(line)( 2 ) 抽出した情報を関連商品の選定に利用する

input_name = ’DecodeJpeg/contents:0’

上記の 2 つの要件を満たすためには，EC サイトにおいresults = sess.run(pool3, {input_name: image})features = [’{:.18e}’.format(f)て汎用かつ有効な学習済ネットワークの選定と，EC サイ

for f in results[0][0][0]]トからの要求に応じて，商品メタデータから抽出した特徴
量を用いて関連商品を検索，応答するための仕組みの構築が必要になる．
本報告では，購買履歴等の情報が不要で，分類用の追加情報としてではなく常に設定される商品メタデータのうち，writer.writerow([product_id] + features)

図 1 TensorFlow による特徴量抽出の Python を使った実装例

Fig. 1 Implementation examples of extracting features using
Python and TensorFlow.

視覚的な訴求力が高い商品画像を対象として，特徴抽出器として利用する学習済み深層畳み込みネットワークから得機が分類を行う．そこで，本研究では，Inception-v3 におられる特徴量を用いて近似最近傍探索により類似度を比較

いて識別層の一番手前であり，最も識別箇所を強調する特する，類似画像による関連商品検索システムを提案する．

徴を特徴量として出力する Pool3 と名付けられたプーリン
グ層からの出力が，EC サイトの商品画像の特性を考慮し3.1 学習済ネットワークの選定と特徴量変換の実装
2.3 節で学習済ネットワークを特徴抽出器として利用すた高精度で汎用的な分類情報として利用できると考え，この層までからの出力を特徴抽出器として採用する．

るためには，学習時のタスクとの類似性が重要であると述

特徴量変換の実装には機械学習のライブラリであり，同べた．EC サイトの商品画像は商品数に応じた多様な種類

ライブラリに対応したモデルフォーマットで Inception-v3が存在する．また画像内には商品だけでなく背景まで含まモデルを入手可能な TensorFlow[19] を用いる．商品画像

れていることが多く，このような画像に対して学習を行っ

を TensorFlow を用いて特徴量に変換する Python コードているモデルが望ましい．ImageNet はクラウドソーシン

を図 1 に示す．

グによってラベル付けが行われている大規模な画像デー
タセットである．2017 年 4 月 10 日現在，21,841 クラス，

3.2 類似特徴量検索の実装

14,197,122 枚の画像が索引付けられており，これらの画像提案手法では 3.1 節の手順で得た商品画像から抽出されを使った大規模画像認識の競技会である ILSVRC も開催さた特徴量を用いて EC サイトからの要求に応じて関連商品れている [14]．ImageNet でラベル付けされ，ILSVRC でを検索，応答する．

利用される画像は多様な種類で，背景画像も多く含まれて

3.1 節の手順により得られる特徴量は 2048 次元の浮動

おり，EC サイトの商品画像の特性と類似している．そこ

小数点数のベクトルとして表現される．これらの特徴量かで本研究では，ILSVRC に向けて学習を行い高い成績を出ら類似する特徴量を検索する処理は，最近傍探索の問題とした Inception-v3 モデルを学習済ネットワークとして利用捉えることができる．EC サイトの要求に対して現実的なする．

応答時間を確保するためには計算量が商品数に比例する全深層畳み込みニューラルネットワークは入力された画像探索は利用できない．しかしながら，類似画像による関連に対して畳み込みとプーリングを繰り返して入力の特徴を商品の選定という問題領域において厳密な最近傍点の検出

抽象化していくネットワークである [8], [21]．入力が層をは求められないため，近似最近傍探索で充分である．よっ経過するにつれて視覚的な特徴からタスクに特化した識別て本研究では近似最近傍探索の実装として公開されている箇所を強調する特徴に変換され [12]，その特徴を基に識別

Annoy ライブラリ [20] を用いて類似特徴量検索を行う．

c 2017 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report







userdata = Userdata.new "annoy_data_key"category_ids.each do |c|annoy = AnnoyIndex.new(2048)

ann_dir = ’/etc/nginx/conf.d/ann’File.foreach("features/features_#{c}.csv") do |line|

Dir.foreach(ann_dir) do |ann|features = line.chomp.split(’,’)

next unless ann.end_with?(’.ann’)annoy.add_item(i, features[1..-1].map(&:to_f))

category_id = ann.split(’_’)[1]

end

annoy = AnnoyIndex.new(2048)
annoy.load("#{ann_dir}/#{ann}")annoy.build(10)userdata.send("category_#{category_id}=", annoy)

annoy.save("ann/category_#{c}.ann")

end

end





図 2


図 3 mruby init の設定例

mruby annoy によるデータベース構築の実装例

Fig. 3 Configuration examples of mruby init.

Fig. 2 Implementation examples of building database using
mruby annoy.

Annoy は検索時の計算量を削減するため，ランダム投影を用いて特徴量群の分割を繰り返すことで類似特徴量を分class NNS
def call(env)params = env[’QUERY_STRING’].split(’&’)

類した B 木に似た木構造を事前に複数構築する．検索時は.map {|kv| kv.split(’=’) }.to_h

木構造内の分割規則によってノードを辿り，比較対象とな

category_id = params[’category_id’].to_i

る特徴量を絞り込むことで計算量を削減する．分割面はラproduct_id= params[’product_id’].to_ilimit= (params[’limit’] || 10).to_i

ンダムに決定されるため，最近傍点が含まれない可能性があるが，複数構築された木構造からそれぞれ近似近傍な特

userdata = Userdata.new "annoy_data_key"

徴量群を取得し，それらの中で類似度の高いものを選択す

annoy = userdata.send("category_#{category_id}")

ることで精度を向上させる [17]．

return not_found unless annoy

EC サイトへ類似特徴量検索機能を提供するにあたって，

nns = annoy.get_nns_by_item(product_id, limit)

運用観点から類似特徴量のデータベースを一箇所に集約しながら，複数のアプリケーションサーバーからのリクエス
トを処理できるように，HTTP リクエストベースの API[200, content_type, [nns.to_json]]end
privateサーバーとしての機能が必要になる．API サーバーの実装には nginx[13] と筆者らが開発した ngx mruby[24] 並びに，def not_foundreturn [404, content_type,mruby-annoy を採用した．ngx mruby は nginx の拡張機
能を mruby[22] で実装でき，高速かつ省メモリで動作する．

[{’error’ => ’not_found’}.to_json]]
end

また，mruby-annoy は Annoy が提供している C++の API
を mruby から利用するバインディングライブラリであり，ngx mruby に組み込むことで，類似特徴量検索機能を持つ
API サーバーとして稼働する．なお，mruby-annoy の実装
は OSS として公開済みである*2 ．
商品画像から抽出された特徴量から類似した特徴量を検

def content_type{’Content-Type’ => ’application/json;charset=utf-8’}
end
end
run NNS.new

索させるための処理は以下の通りである．初めに 3.1 節で取得した商品画像の特徴量を Annoy に登録し，事前に木構造を生成した特徴量データベースを構築する．mruby-annoyを用いた構築処理は図 2 のようにして行う．
次に，類似特徴量検索サーバーで構築した特徴量デー
タベースを読み込む．読み込んだデータベースは mruby-userdata を利用することで，読み込み処理を都度行わないよう，ngx mruby の mruby init で図 3 のコードを呼び

図 4

mruby content handler の設定例

Fig. 4 Configuration examples of mruby content handler.

% curl ’http://localhost/nns?category_id=1&product_id=234’[233,234,127,235,223]




図 5

ngx mruby 上での mruby annoy の実行例

Fig. 5 Execution examples of mruby annoy on ngx mruby.

出す．
類似特徴量検索サーバーはアプリケーションサーバーから対象を特定する ID を受け取り，類似特徴量の ID 一覧を*2返却する．類似特徴量を検索するためのコードは図 4 の通り．実行結果は図 5 のようになる．

https://github.com/monochromegane/mruby-annoyc 2017 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

4. 実験と考察
提案手法の有効性を検証するため，3 章で構築したデー
タベース並びに類似特徴量検索サーバーを EC サイトのプロダクション環境に導入した．導入した EC サイト上では，商品詳細画面にて関連商品を 12 点表示する欄を設けており，これらの関連商品のクリック数を計測している．
本研究では，類似画像検索の有効性を検証するため，今回提案した手法により選定する商品と，EC サイトの既存の手法で選定する商品間でのクリック率の差を計測した．なお，EC サイトの既存手法は，独自に運用していた簡易的なユーザーベースの協調フィルタリングにあたる．具体的に
図 6 対象商品

は，該当商品を評価している他の利用者群を類似ユーザー

Fig. 6 Target product.

とみなし，それぞれの利用者が評価している商品に対して評価の新しさに重みをつけて一定数取得した後，該当商品と重複商品を除いたものを関連商品として選定する．
実験の手法として，まず既存手法により選定した商品をA パターン，提案手法により選定した商品を B パターンとして，両パターンのクリック率を比較検討するため，表示機会が均等になるよう乱数によりおよそ 50%の確率で表示のパターンを判定している．しかし 3.1 節で構築した時点
以降に登録された商品については，提案手法による選定が行えないため，その場合は既存手法で選定した商品を表示
し，既存手法側のクリック率計測対象とした．これは検証期間中の EC サイトの機会損失を減らす必要から取った措置である．なお，既存手法が協調フィルタリング手法である以上，商品に対する情報が蓄積されていない場合は，既存手法でも選定が行えない場合があるが，その場合は，該当する関連商品なしとして計測の対象から除外している．
提案手法の対象となる商品数は約 380 万点であり，検証期
間中の各手法の利用割合は，既存手法 68.57%，提案手法

31.43%であった．

図 7 既存手法による選定商品

Fig. 7 Selected products by existing method.

また，提案手法のうち，商品特性による有効性の比較を

表 1 クリック率とコンバージョン率の比較行うため，EC サイトに既にあるカテゴリ区分に従い，クTable 1 Comparison of CTR and CVR.

リック率を計測して比較，考察を行った．対象のカテゴリ
数は 120 である．
なお，検証にあたり類似特徴量検索サーバーは，これが参照するデータベースファイルを全てページキャッシュするのに十分な量のメモリを搭載している必要があった．これは近似近傍探索の際に木構造を辿る処理がデータベース
ファイルの広範囲に渡るランダムアクセスとなり，キャッ
シュされていない場合に都度ディスクへのアクセスが発生して，応答時間の遅延が発生し，導入先の EC サイトからの想定要求数を処理できないことが事前の性能評価で確認されたためである．

既存手法

提案手法

クリック率

0.51%

0.76%

コンバージョン率（クリック数）

0.21%

0.28%

4.1 類似画像検索の評価と考察
対象商品図 6 に対して，既存手法，提案手法によって選定された関連商品の例をそれぞれ図 7，図 8 に示す．提案
手法において，対象商品の形状や特徴を掴み，類似した商品を選定できていることがわかる．これらの選定した商品に対するクリック率とコンバージョン率の比較を表 1 に示す．クリック数は閲覧数に対するクリック数から，コンバージョン率はクリック数に対する購入回数から求めた．
既存手法に比べて提案手法のクリック率が改善しており，提案手法による選定商品が，関連商品としてより興味を引

c 2017 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report
表 2 既存手法が有効であったカテゴリ上位 5 件

Table 2 Top 5 categories which existing method is eﬀective.
既存手法

提案手法

1.20%

0.40%

ベビー・キッズ/靴

0.76%

0.36%

ファッション/コスチューム

0.45%

0.20%

アート・写真/イラスト

0.50%

0.28%

家具・生活雑貨/クッション

0.56%

0.38%

文房具・ステーショナリー/しおり・ス
テッカー

表 3 提案手法が有効であったカテゴリ上位 5 件

Table 3 Top 5 categories which proposed method is eﬀective.

図 8 提案手法による選定商品

既存手法

提案手法

素材・材料/シェル

0.26%

1.25%

素材・材料/リボン・テープ

0.47%

1.46%

素材・材料/ボタン

0.53%

1.33%

ぬいぐるみ・人形/あみぐるみ

0.40%

1.17%

ニット・編み物/セーター・カーディガン

0.37%

1.07%

Fig. 8 Selected products by proposed method.

される．これは既存の商品メタデータでは分類できない特き，クリックからの回遊が発生していることがわかる．ま徴であり，提案手法がカテゴリによる分類をより細かい粒

た，コンバージョン率を見ると．既存手法に比べ提案手法

度で分類補完した結果，利用者に効果的な商品が選定できが購入に至る確率が高く，回遊だけでなく購入まで検討さたことがわかる．一方，しおり・ステッカーやコスチューせる，より関心の高い商品を提案できたことを表している．

ム，イラストといった，カテゴリ内で形状やデザインに統一性がなく，個々の類似性が低いカテゴリでは提案手法で4.2 類似画像検索の評価と考察
4.1 節で，既存手法に比べ提案手法による選定が総合的に優れていることがわかった．本節では，商品特性による提案手法の有効性の差を考察する．本研究では，商品特性選定した商品の関連性が低くなり，クリック率が低くなる傾向になったと考えられる．

5. まとめによる有効性の比較を行うため，EC サイトに既にある 120

本報告では，購買履歴等の情報が蓄積されておらず，商のカテゴリ区分に従い，クリック率を計測し，既存手法と品のメタデータを用いた商品選定が必要な状況において，のクリック率の差を検証した．120 カテゴリのうち，既存

深層学習に必要な大量の訓練データセットと訓練時間が不手法がクリック率が高かったカテゴリ数は 28，提案手法は要な学習済ネットワークを用いた類似画像検索システムを

92 であり，約 77%のカテゴリで提案手法の効果が確認さ提案した．そして提案手法の有効性を示すために，EC サイ

れた．

トで独自に運用していた簡易的なユーザーベース協調フィ

商品詳細画面における関連商品のカテゴリごとのクリッ

ルタリングによる選定商品とのクリック率の差を計測しク率比較のうち、それぞれの手法が有効であったカテゴリ

た．加えて，商品特性ごとの有効性の差を確認するために上位 5 件を表 2 と表 3 に示す．提案手法で最も改善したカEC サイトのカテゴリ区分に基づいた効果の差を評価した．

テゴリは素材・材料/シェルで，既存手法 0.26%に対し，提結果として，EC サイトの実運用において想定する要求

案手法 1.25%と 1%近い改善が見られた．反対に提案手法

数を処理可能な類似画像による関連商品選定システムを導で改善しなかったカテゴリは，文房具・ステーショナリー/入し，既存手法と比較して全体的なクリック率とコンバーしおり・ステッカーで，既存手法 1.20%に対し，提案手法

ジョン率の改善が見られた．また，類似した多数の商品か0.40%であった．

ら比較検討を行う必要があるカテゴリや，カテゴリの分類

顕著に改善の見られた素材・材料カテゴリは，検証を基準が緩く，類似した形状や質感で更に絞り込み可能な商行った EC サイトの特性上，販売者側の材料の仕入れに用品が多いカテゴリについては特に効果が高いことも確認でいられることが多く，類似した素材を比較し，より安価なきた．

商品を入手するユースケースに合致したと考えられる．まEC サイトでは商品の登録・更新は頻繁に発生するが，本た，あみぐるみ，セーター・カーディガンといったカテゴ

報告ではデータベース構築時点の商品のみが関連商品の選

リでは提案手法により，形状や質感による類似商品が選定定対象とする構成になっている．よって，今後の課題とし

c 2017 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Reportては，これらの商品の登録・更新に追従できないことで発生する機会損失を防ぐため，データベース構築後に商品の登録・更新に合わせて近似近傍探索用の木構造を維持する
仕組み [15] を検証する必要がある．

[16]

参考文献

[17]

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]
[14]

[15]

Andrew McCallum, Information Extraction: Distilling
Structured Data from Unstructured Text, Queue - Social Computing Volume 3 Issue 9, pp. 48-57, November
2005
J. Ben Schafer, Joseph Konstan, John Riedl, Recommender systems in e-commerce, Proceedings of the 1st
ACM conference on Electronic commerce, pp.158-166,
November 03-05, 1999
Bolei Zhou, Agata Lapedriza, Jianxiong Xiao, Antonio
Torralba, and Aude Oliva, Learning Deep Features for
Scene Recognition using Places Database, In Proc. NIPS,
2014.
Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan,
Vincent Vanhoucke, Andrew Rabinovich, Going Deeper
with Convolutions, The IEEE Conference on Computer
Vision and Pattern Recognition (CVPR), 2015
Christian Szegedy, Vincent Vanhoucke, Sergey Ioﬀe, Jon
Shlens, Zbigniew Wojna, Rethinking the Inception Architecture for Computer Vision, The IEEE Conference
on Computer Vision and Pattern Recognition (CVPR),
pp. 2818-2826, 2016
David Goldberg, David Nichols, Brian M. Oki, and Douglas Terry, Using collaborative filtering to weave an information tapestry. Commun. ACM 35, 12, pp. 61-70,
December 1992
Dieter Fensel, Ying Ding, Borys Omelayenko, Ellen
Schulten, Guy Botquin, Mike Brown, Alan Flett, Product Data Integration in B2B E-Commerce, IEEE Intelligent Systems Volume 16, Issue 4, pp. 54-59, Jul-Aug
2001
K. Fukushima. Neocognitron: a self organizing neuralnetwork model for a mechanism of pattern recognition
unaﬀected by shift in position, Biological Cybernetics,
36(4):93202, 1980
Greg Linden, Brent Smith, Jeremy York, Amazon.com
Recommendations: Item-to-Item Collaborative Filtering, IEEE Internet Computing Volume 7 Issue 1, pp.
76-80, January 2003
Hyung Jun Ahn, A new similarity measure for collaborative filtering to alleviate the new user coldstarting
problem, Information Sciences 178, pp. 37-51, 2008
Jeﬀ Donahue, Yangqing Jia, Oriol Vinyals, Judy Hoﬀman, Ning Zhang, Eric Tzeng, Trevor Darrell, DeCAF:
A Deep Convolutional Activation Feature for Generic Visual Recognition. In Proc. ICML, 2014
Matthew D. Zeiler, Rob Fergus, Visualizing and Understanding Convolutional Networks, In Proc, Computer
VisionECCV, pp. 818-833, 2014
Nginx, Nginx, http://nginx.org/ja/.
Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause,
Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej
Karpathy, Aditya Khosla, Michael Bernstein, Alexander
C. Berg, and Li Fei-Fei. 2015. ImageNet Large Scale Visual Recognition Challenge. Int. J. Comput. Vision 115,
3, pp. 211-252, December 2015
Paolo Ciaccia, Marco Patella, and Pavel Zezula, M-tree:c 2017 Information Processing Society of Japan
⃝

[18]

[19]

[20]

[21]

[22]
[23]

[24]

[25]

An Eﬃcient Access Method for Similarity Search in Metric Spaces, In Proceedings of the 23rd International Conference on Very Large Data Bases (VLDB ’97), pp. 426435, 1997
Pulkit Agrawal, Ross Girshick, Jitendra Malik, Analyzing the Performance of Multilayer Neural Networks for
Object Recognition, In Proc. ECCV, 2014
Sanjoy Dasgupta, Kaushik Sinha, Randomized partition
trees for exact nearest neighbor search, JMLR: Workshop and Conference Proceedings vol 30, 121, 2013
Shinzato Keiji, Satoshi Sekine, Unsupervised Extractionof Attributes and Their Values from Product Description., IJCNLP, 2013
Martn Abadi, Ashish Agarwal, Paul Barham, Eugene
Brevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado,
Andy Davis, Jeﬀrey Dean, Matthieu Devin, Sanjay
Ghemawat, Ian Goodfellow, Andrew Harp, Geoﬀrey
Irving, Michael Isard, Yangqing Jia, Rafal Jozefowicz, Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg,
Dan Mane, Rajat Monga, Sherry Moore, Derek Murray, Chris Olah, Mike Schuster, Jonathon Shlens, Benoit
Steiner, Ilya Sutskever, Kunal Talwar, Paul Tucker,
Vincent Vanhoucke, Vijay Vasudevan, Fernanda Viegas,
Oriol Vinyals, Pete Warden, Martin Wattenberg, Martin
Wicke, Yuan Yu, Xiaoqiang Zheng, TensorFlow: LargeScale Machine Learning on Heterogeneous Distributed
Systems, 2015. Software available from tensorflow.org
Wen Li, Ying Zhang, Yifang Sun, Wei Wang, Wenjie Zhang, Xuemin Lin, Approximate Nearest Neighbor
Search on High Dimensional Data — Experiments, Analyses, and Improvement (v1.0), In Proc. 2016
Y. Lecun, L. Bottou, Y. Bengio, P. Haﬀner, Gradientbased learning applied to document recognition, Proc.
IEEE, vol. 86, no. 11, pp. 2278-2324, Nov. 1998
NPO 法人軽量 Ruby フォーラム, http://forum.mruby.
org/.
経済産業省 商務情報政策局 情報経済課, 平成 27 年度我が国経済社会の情報化・サービス化に係る基盤整備（電子商取引に関する市場調査）報告書, 2016
松本亮介, 岡部寿男, mod mruby：スクリプト言語で高速かつ省メモリに拡張可能な Web サーバの機能拡張支援機構, 情報処理学会論文誌, Vol.55, No.11, pp.2451-2460,
2014 年 11 月
和田 俊和, 最近傍探索の理論とアルゴリズム, 研究報告
コンピュータビジョンとイメージメディア（CVIM）,
2009-CVIM-169(13), 1-12, 2009-11-19

8