(57)【要約】【課題】商品通販サイトのユーザビリティをより高めることができる類似画像検索を用いた商品推薦システムを提供する。【解決手段】外観が類似している商品を検索し、ユーザーに提示するシステムに関するものである。商品画像の場合、風景画像と異なり、商品の背景となっている部分の画像情報が特徴として意味を持たないという性質に鑑み、本発明では、背景部分を除去した上で、商品画像の特徴量を算出することで、類似検索の精度を高めている。【選択図】図２
2009251850.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の商品を含む複数の商品画像が格納された画像ファイルと、
１つ以上の商品を含む各商品画像から背景領域を削除して１つの商品の領域を抽出する商品領域抽出手段と、
各商品画像から抽出された商品領域に対応する各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納する画像情報データベースと、
抽出された商品領域の画像特徴量を算出して、当該商品領域に対応する商品の画像特徴量を取得する画像特徴量取得手段と、
画像特徴量取得手段により取得された各商品の画像特徴量を各商品ＩＤに関連付けて格納する特徴量データベースと、
特徴量データベースに格納されている各商品の画像特徴量を類似度算出用特徴量として用いて各商品間の類似度を算出する類似度算出手段と、
類似度算出手段により算出された各商品間の類似度を各商品ＩＤに関連付けて格納する類似商品データベースと、
ユーザー端末から類似画像検索要求を受信する手段と、
当該類似画像検索要求の元である商品の商品ＩＤをキーとして、当該商品に対する類似度の高い１つ以上の商品を、前記類似商品データベースから抽出する類似画像検索手段と、
類似画像検索手段で抽出された商品に対応する商品画像及び商品情報をユーザー端末から閲覧可能とする手段と、
を備えた商品推薦システム。
【請求項２】
前記商品領域抽出手段は、
商品画像において、前記１つの商品の領域を代表する複数のピクセル、前記１つの商品の領域以外の背景領域を代表する複数のピクセル、をそれぞれ選択する手段と、
前記選択した代表ピクセルの情報に基づいて、前記商品画像を前記１つの商品の領域と前記背景領域とに分割する手段と、
を備えている、
請求項１に記載の商品推薦システム。
【請求項３】
前記１つの商品の領域を代表する複数のピクセルを選択する手段は、
前記１つ以上の商品を含む商品画像を表示する表示手段と、
表示手段に表示された商品画像上で、前記１つの商品の一部の領域を指定する手段と、
を含む請求項２に記載の商品推薦システム。
【請求項４】
前記背景領域を代表する複数のピクセルを選択する手段は、
商品画像におけるピクセルの位置に基づいて予め指定されており、前記商品画像において予め指定されたピクセルを自動的に選択するものである、
請求項２，３いずれかに記載の商品推薦システム。
【請求項５】
表示された商品画像上で、前記背景領域の一部の領域を指定する手段を含む、請求項３に記載の商品推薦システム。
【請求項６】
前記商品画像分割手段は、
選択した代表ピクセルの情報に基づいて閾値を設定し、設定された閾値を用いて前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第１分割手段と、
選択したピクセルの情報に基づいた教師付き機械学習によって、前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第２分割手段と、
を備え、
前記第１分割手段あるいは前記第２分割手段により前記１つの商品の領域を抽出する、
請求項２乃至５いずれかに記載の商品推薦システム。
【請求項７】
第２分割手段は、第１分割手段による画像分割ができない場合にのみ実行される、
請求項６に記載の商品推薦システム。
【請求項８】
前記画像特徴量は、抽出された商品領域の色、形状、テクスチャを含む、請求項１乃至７いずれかに記載の商品推薦システム。
【請求項９】
前記商品推薦システムの類似画像検索手段は、当該商品推薦システムが類似画像検索要求を受信した時に、選択的に、
当該商品の商品ＩＤをキーとして、当該商品に対する各商品の類似度を前記特徴量データベースに格納されている各商品の画像特徴量を用いて算出し、当該商品に対する類似度の高い１つ以上の商品を抽出する、
請求項１乃至８いずれかに記載の商品推薦システム。
【請求項１０】
前記画像情報データベースに格納された商品情報には、商品名及びカテゴリ情報が含まれており、
前記類似度算出手段の類似度算出用特徴量には、前記画像特徴量に加えて、前記カテゴリ情報及び／あるいは商品名が含まれる、
請求項１乃至９いずれかに記載の商品推薦システム。
【請求項１１】
各カテゴリ情報は、大分類から小分類へと階層構造を有しており、
対比される商品間で共通するカテゴリの数および／あるいは共通するカテゴリの階層の深さに基づいて、カテゴリの類似度が算出される、
請求項１０に記載の商品推薦システム。
【請求項１２】
前記類似度算出手段は、各類似度算出用特徴量の類似度に基づいて商品間の類似度を算出するものであり、
各類似度算出用特徴量の類似度の重み付け設定手段を備えており、
設定された重み付けにしたがって商品間の類似度を算出する、
請求項１乃至１１いずれかに記載の商品推薦システム。
【請求項１３】
前記ユーザー端末から重み付け設定要求が可能となっており、
前記類似度算出手段は、手段は、ユーザー端末からの重み付け要求にしたがって、商品間の類似度を算出する、
請求項１２に記載の商品推薦システム。
【請求項１４】
前記商品推薦システムは、商品情報テーブルを備えており、
前記商品情報テーブルは、各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納しており、
類似画像検索手段で抽出された商品に対応する商品画像及び商品情報を前記商品情報テーブルから取得して、ユーザー端末から閲覧可能とする、
請求項１乃至１３いずれかに記載の商品推薦システム。
【請求項１５】
前記商品推薦システムは、商品販売サイトと独立しており、
商品推薦システムと商品販売サイトは、商品画像及び商品ＩＤ、商品情報を共有しており、
前記商品販売サイトにおいて、商品画像及び商品情報がユーザー端末から閲覧可能となっており、
ユーザー端末からの類似画像検索要求が、商品販売サイトとは独立した当該商品推薦システムに転送される、
請求項１乃至１４いずれかに記載の商品推薦システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索を用いた商品推薦システムに関するものである。
【背景技術】
【０００２】
商品推薦システムとしては、通販サイトの商品ページ上に、ユーザーが興味を持ちそうな関連商品を他のユーザーの行動履歴を元に表示させるための手法が知られている。
【０００３】
しかしながら、行動履歴を用いて関連商品を表示させるには、当該商品を顧客が閲覧したデータや購入したデータが必要となるため、これらのデータが利用できない新商品に対して関連商品を適用することができないという問題があった。
【０００４】
これに対して、商品の類似性を利用して検索結果を推薦する手法であれば、新商品が検索対象のデータベースに登録されていれば、新商品を推薦することが可能である。この種の類似検索としては、ユーザーの興味が視覚的・直感で反映される類似画像検索がある。
【０００５】
画像から算出した色・テクスチャなどの特徴量を元に、画像同士の類似度を算出し、類似画像を検索する技術については幾つもの提案がある（特許文献１乃至８参照）。特徴量の抽出方法や特徴量間の距離尺度についても、幾つかの手法があることが当業者に良く知られている。
【０００６】
類似画像検索の要素技術だけでなく、インターネットの通販サイト上でユーザビリティを高めるためのシステムとしての提案もある（特許文献９）。
【０００７】
与えられた画像全体から、特徴量を算出する技術は既に存在していたが、商品画像のように、画像中にユーザーが最も興味があると考えられる商品部分以外の部分（背景・モデルの身体・他の商品など）が存在する場合、商品部分以外の画像情報によって特徴量算出結果が影響を受けてしまうという問題があった。算出された特徴量の精度が悪いと、類似検索の精度も劣化することになる。
【０００８】
また、通販サイトの実用性を高めるには、類似検索結果の的確性のみならず、いかに高速で類似画像を検索してユーザーに提供できるかが重要となる。
【特許文献１】特開平１１−２１２９９３号
【特許文献２】特開２０００−２８５１４１
【特許文献３】特開２００１−５２１７５号
【特許文献４】特開２００１−３１９２３２号
【特許文献５】特開２００２−７８０３号
【特許文献６】特開２００４−３４１９４０号
【特許文献７】特開２００５−１４９０７１号
【特許文献８】特開２００５−１０９３１号
【特許文献９】特許第４０５８２８８号
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、商品通販サイトのユーザビリティをより高めることができる類似画像検索を用いた商品推薦システムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明が採用した商品推薦システムは、１つ以上の商品を含む複数の商品画像が格納された画像ファイルと、１つ以上の商品を含む各商品画像から背景領域を削除して１つの商品の領域を抽出する商品領域抽出手段と、各商品画像から抽出された商品領域に対応する各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納する画像情報データベースと、抽出された商品領域の画像特徴量を算出して、当該商品領域に対応する商品の画像特徴量を取得する画像特徴量取得手段と、画像特徴量取得手段により取得された各商品の画像特徴量を各商品ＩＤに関連付けて格納する特徴量データベースと、特徴量データベースに格納されている各商品の画像特徴量を類似度算出用特徴量として用いて各商品間の類似度を算出する類似度算出手段と、類似度算出手段により算出された各商品間の類似度を各商品ＩＤに関連付けて格納する類似商品データベースと、ユーザー端末から類似画像検索要求を受信する手段と、当該類似画像検索要求の元である商品の商品ＩＤをキーとして、当該商品に対する類似度の高い１つ以上の商品を、前記類似商品データベースから抽出する類似画像検索手段と、類似画像検索手段で抽出された商品に対応する商品画像及び商品情報をユーザー端末から閲覧可能とする手段と、を備えている。
【００１１】
１つの態様では、前記商品領域抽出手段は、商品画像において、前記１つの商品の領域を代表する複数のピクセル、前記１つの商品の領域以外の背景領域を代表する複数のピクセル、をそれぞれ選択する手段と、前記選択した代表ピクセルの情報に基づいて、前記商品画像を前記１つの商品の領域と前記背景領域とに分割する手段と、を備えている。
【００１２】
１つの態様では、前記１つの商品の領域を代表する複数のピクセルを選択する手段は、前記１つ以上の商品を含む商品画像を表示する表示手段と、表示手段に表示された商品画像上で、前記１つの商品の一部の領域を指定する手段と、を含んでいる。商品画像においては、商品以外の部分を除去しようとしても、商品部分が必ずしも同じ場所に存在していたり、同じ規則性で存在していたりという訳ではないという問題があった。表示された商品画像上で、入力手段により商品の一部を指定することで、この問題を解決することができる。
【００１３】
１つの態様では、前記背景領域を代表する複数のピクセルを選択する手段は、商品画像におけるピクセルの位置に基づいて予め指定されており、前記商品画像において予め指定されたピクセルを自動的に選択するものである。より具体的な態様では、前記予め指定されたピクセルは、商品画像の左右側部の一方あるいは両方に位置するピクセルである。さらに、具体例を示すと、商品画像において、左から4ピクセル×タテ（例えば200ピクセル）および、右から4ピクセル×タテのピクセルが背景領域を代表するピクセルとして選択される。したがって、通販サイトの性格や当該サイトの商品画像の特徴等に適応させ、商品画像上のどの領域のピクセルを背景ピクセルの代表ピクセルとして事前に指定することも可能である。あるいは、１つの態様では、表示された商品画像上で、前記背景領域の一部の領域を指定する手段を含む。すなわち、前景と同様に、背景の一部を表示された商品画像上で入力手段により選択させてもよい。
【００１４】
１つの態様では、前記商品画像分割手段は、選択した代表ピクセルの情報に基づいて閾値を設定し、設定された閾値を用いて前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第１分割手段と、選択したピクセルの情報に基づいた教師付き機械学習によって、前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第２分割手段と、を備え、前記第１分割手段あるいは前記第２分割手段により前記１つの商品の領域を抽出する。
【００１５】
本発明は、商品画像を想定したものであり、例えば、ツートンカラーや大きな模様・パターンを有するような商品画像や、空と地面など、複数の要素からなる背景を持った画像から、商品の大まかな形状を切り出すことを目的としている。ここで、商品画像の背景には２つのタイプがあると考えられる。１つは、背景領域が単純な場合（たとえば、背景領域が同色の場合など）、もう１つは、背景領域が複雑な場合（風景などが写っている場合）である。背景領域が単純な場合には、色の各チャネルで前景と背景を分離できる閾値を決めれば、簡単に背景除去できる。しかし、背景領域が複雑な場合には、閾値による分割では対処できない場合があり得る。以上のような商品画像特有の特徴に鑑みて、２段階方式を採用した。
【００１６】
第１分割手段は、前景領域（商品領域）と背景領域をそれぞれ代表するピクセルがある場合に、それらのピクセル情報を用いて、商品画像全体のピクセルを前景領域、背景領域に振り分ける閾値を設定し、当該閾値によって商品画像を２値化するという問題であり、背景領域が単純な場合に、高速に背景除去を行うことができる。後述する実施形態では、第１分割手段の１つの有利な態様例を示すが、平均や標準偏差等の単純な統計量を用いた他の閾値の決め方等が当業者において適宜設計し得るものである。
【００１７】
第２分割手段は、前景領域（商品領域）と背景領域をそれぞれ代表するピクセルがある場合に、それらのピクセル情報を教師信号として、機械学習によって商品画像の他のピクセルを前景領域、背景領域に振り分けるという問題であり、第１分割手段である閾値を用いた手法に比べて計算量は大きいが、背景や前景が複雑な場合においても高い精度で分類ができる。後述する実施例では、第２分割手段の１つの有利な態様例としてｋ最近傍決定法を示す。最初に指定する前景部分の複数のピクセルの色ベクトルと、背景部分の複数のピクセルの色ベクトルが教師信号となる。あるピクセルを与えられたときに、教師信号となるピクセルの中で、ベクトルが近いピクセルを集め、そのピクセルが前景と背景のどちらに多く属するかを測定する。
【００１８】
本発明に適用し得る機械学習としては、「教師信号つき機械学習」の手法であれば、適用可能であり、具体的には、ｋ最近傍決定法の他にも、判別分析（線形判別関数やマハラノビス距離）、ロジスティック回帰分析、Support Vector Machineを含むkernel-based method、決定木、ニューラルネットワーク、ベイジアンネットワークなどが適用可能である。
【００１９】
１つの態様では、第２分割手段は、第１分割手段による画像分割ができない場合にのみ実行され、第１分割手段が実行される条件が満たされない場合に、自動的に第２分割手段が実行される。背景部分や前景部分がシンプルな場合もあるので、その場合、簡単な閾値手法を適用し、それが適用不可能な複雑な画像の場合、教師つき学習を適用する。こうすることで、背景領域が単純な場合に、高速に背景除去を行うことができるため、１段階目で処理が終わり、２段階目を使う必要がない。
【００２０】
また、第１分割手段により得られた結果を学習データとして、第２分割手段を実行してもよい。例えば、第１分割手段では、背景か前景かに分類できず未確定のピクセルのままとなってしまった場合であっても、第１分割手段で前景もしくは背景に振り分けられたものをさらに学習すべき教師信号として、第２分割手段で利用してもよい。
【００２１】
１つの態様では、前記画像特徴量は、抽出された商品領域の色、形状、テクスチャを含む。これらの特徴量の取得方法については、当業者において数々のやり方が知られており、本発明において、画像特徴量の習得方法は限定されず、例えば、特許文献１乃至９のいずれかに記載された方法を採用することも可能である。また、特徴量の種類についても、本明細書に記載した要素に限定されるものではなく、画像の特徴量として採用し得る他の要素を抽出してもよい。
【００２２】
本発明では、類似商品データベースを用いることで、類似検索を高速に行ったユーザーに提供することを可能としているが、前記商品推薦システムの類似画像検索手段は、当該商品推薦システムが類似画像検索要求を受信した時に、選択的に、当該商品の商品ＩＤをキーとして、当該商品に対する各商品の類似度を前記特徴量データベースに格納されている各商品の画像特徴量を用いて算出し、当該商品に対する類似度の高い１つ以上の商品を抽出してもよい。例えば、後述するように、ユーザーから類似度算出用特徴量間の重み付けが要求された場合に、類似商品データベースが各特徴量毎の類似度を格納していない場合には、ユーザーからの類似画像検索要求毎に類似度を算出してもよい。
【００２３】
１つの態様では、前記画像情報データベースに格納された商品情報には、商品名及びカテゴリ情報（１つの商品画像に対して複数登録可）が含まれており、前記類似度算出手段の類似度算出用特徴量には、前記画像特徴量に加えて、前記カテゴリ情報及び／あるいは商品名が含まれる。各カテゴリ情報は、大分類から小分類へと階層構造を有しており、対比される商品間で共通するカテゴリの数および／あるいは共通するカテゴリの階層の深さに基づいて、カテゴリの類似度が算出される。カテゴリや商品名を類似度算出用特徴量として扱って、画像特徴データの類似度だけでなく、カテゴリデータおよび商品名の類似度も勘案して、類似商品を表示させることで、類似画像検索のフレキシビリティおよび精度を向上させることができる。
【００２４】
カテゴリ情報を使わない場合は、全く関係ない商品であるにもかかわらず、偶然色が似ているから表示されるなどの現象が起こり得る一方、カテゴリをまたいでも、外観が非常に似ているならば表示されるため、ユーザーの好みにあった思いがけない商品に出会える可能性も残してあることになり、より直感的な検索をすることが可能になるというメリットがある。また、類似算出用特徴量間の重み付け設定が可能である場合には、重みの選択によって、さらに、精度およびフレキシビリティを向上させることができる。これに対して、特許文献９ではカテゴリ情報を用いて類似度を判定する対象画像を絞り込んでいるので、例えばカテゴリ間を越えた検索を行うことができない。本発明は、色・形状・テクスチャなどと同じレイヤーで、検索範囲内にて類似度を算出する際の１指標としてカテゴリ情報を利用することで、商品同士のカテゴリや商品名などのメタ情報の類似度も勘案して、最終的に類似画像を算出することが可能であり、かつ、１つの態様では、さらに、特徴量間の重み付けを設定可能になっている。
【００２５】
１つの態様では、前記類似度算出手段は、各類似度算出用特徴量の類似度に基づいて商品間の類似度を算出するものであり、各類似度算出用特徴量の類似度の重み付け設定手段を備えており、設定された重み付けにしたがって商品間の類似度を算出する。１つの態様では、重み付けはシステム側で設定される。例えば、商品推薦システム側で重みを設定する場合は、予め対象とするサイトが扱う商品特性や意図を踏まえパラメータを設定し、全ての商品に対して同じパラメータで一括に類似商品を検索し、上位のものを類似商品テーブルに格納する。１つの態様では、前記ユーザー端末から重み付け設定要求が可能となっており、前記類似度算出手段は、手段は、ユーザー端末からの重み付け要求にしたがって、商品間の類似度を算出する。
【００２６】
１つの態様では、前記商品推薦システムは、商品情報テーブルを備えており、前記商品情報テーブルは、各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納しており、類似画像検索手段で抽出された商品に対応する商品画像及び商品情報を前記商品情報テーブルから取得して、ユーザー端末から閲覧可能とする。こうすることで、画像情報データベースには、商品情報として類似検索エンジンに必要な最低限の商品情報（１つの態様では、商品名とカテゴリ情報）のみを登録し、一方、商品情報テーブルには、Webページに表示させたい情報全てを格納させることができる。例えば、推薦商品として、類似商品を表示するに際し、商品名と画像のみならず、商品説明文や価格を表示させたい場合、このような情報は全て商品情報テーブルに保存される。
【００２７】
１つの態様では、前記商品推薦システムは、商品販売サイトと独立しており、商品推薦システムと商品販売サイトは、商品画像及び商品ＩＤ、商品情報を共有しており、前記商品販売サイトにおいて、商品画像及び商品情報がユーザー端末から閲覧可能となっており、ユーザー端末からの類似画像検索要求が、商品販売サイトとは独立した当該商品推薦システムに転送される。通販サイトの商品ページに類似画像検索を用いて関連商品を表示させるために、通販サイトの商品ページのアクセス数と同数の類似画像検索クエリを呼び出すとサーバの負荷が高くなりすぎるため、実用に乏しいという問題があった。このように、商品販売サイトとは別個に類似画像検索部を設けることで、この問題を解決している。この態様では、通販サイトが自社のサーバ内に類似画像検索のエンジンを置かなくても簡単に商品推薦システムを導入できる。通販サイト内の商品ページへのリクエストがユーザー端末からかかるたびに、当該ページのソースに埋め込まれた本商品推薦システムを構成するサーバへのリンクから、類似商品テーブルへのリクエストがかかり、当該ページに前記サーバより、外見が類似する商品が書き出される。この性質により、通販サイトは、画像情報を格納するデータベースさえ商品推薦システムと共有し、商品ページのソースに前記サーバへのリンクを貼れば、それだけで、類似画像を商品ページに自動的に表示させることが可能となる。
【００２８】
本発明は、商品画像データベースの作成法としても提供される。商品画像データベース作成法は、１つ以上の商品を含む商品画像から１つの商品の領域を抽出するステップと、抽出された商品領域の画像特徴量を算出するステップと、前記画像特徴量を前記１つの商品に関連付けて格納するステップと、からなり、さらに、前記商品領域抽出ステップは、商品画像において、前記１つの商品の領域を代表する複数のピクセル、前記１つの商品の領域以外の背景領域を代表する複数のピクセル、をそれぞれ選択するステップと、前記選択した代表ピクセルの情報に基づいて、前記商品画像を前記１つの商品の領域と前記背景領域とに分割するステップと、を備えている、１つの態様では、前記１つの商品の領域を代表する複数のピクセルを選択するステップは、前記１つ以上の商品を含む商品画像を表示するステップと、表示された商品画像上で、前記１つの商品の一部の領域を指定するステップと、を含む。１つの態様では、前記背景領域を代表する複数のピクセルは、商品画像におけるピクセルの位置に基づいて予め指定されており、前記商品画像において予め指定されたピクセルが自動的に選択される。１つの態様では、表示された商品画像上で、前記背景領域の一部の領域を指定するステップを含む。
【００２９】
１つの態様では、前記画像分割ステップは、選択した代表ピクセルの情報に基づいて閾値を設定し、設定された閾値を用いて前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第１ステップと、選択したピクセルの情報を教師信号とした教師付き機械学習によって、前記商品画像を前記１つの商品の領域と前記背景領域とに分割する第２ステップと、を備え、前記第１ステップあるいは前記第２ステップにより前記１つの商品の領域を抽出する。
【発明の効果】
【００３０】
本発明では、商品領域抽出手段により背景が除去され、所望の商品領域を抽出するので、画像特徴量の計算が商品画像の背景の影響を受けることがなく、結果として、高い精度の類似検索を実現することができる。
【００３１】
検索対象が所詮商品データであり、検索対象の数がある程度限界があり、さらに、検索キーとなるものが商品自体であるため、キーワードのように無限とはならず、ある程度の範囲内に収まるという性質を利用して、各商品画像に対して類似検索を実施した結果（類似している上位の画像）を類似商品テーブルに格納してなる類似商品テーブルを設けたことで、検索の高速化、システムへの低負荷を実現している。尚、本発明の効果は、これらの記載に限定されるものではなく、本発明の構成や本明細書の記載からその他数々の効果が得られることは当業者に理解される。
【発明を実施するための最良の形態】
【００３２】
［Ａ］商品推薦システムの全体構造
本発明は、インターネットの通販サイトにおける商品選びのユーザビリティを高める仕組みとして、外観が類似している商品（商品画像が類似している商品）を検索し、ユーザーに提示するシステムに関するものである。商品画像の場合、風景画像と異なり、商品の背景となっている部分の画像情報が特徴として意味を持たないという性質に鑑み、本発明では、背景部分を除去した上で、商品画像の特徴量を算出することで、類似検索の精度を高めている。さらに、本発明は、高い精度で自動的に背景を除去できる仕組み、及び、より高速に類似画像検索を行う仕組みを備えている。
【００３３】
本発明に係る商品推薦システムは、一つあるいは複数のコンピュータから構成されており、当該コンピュータは、ハードウェアとしての処理手段、記憶手段、入力手段、出力手段ないし表示手段、ソフトウエアとしてのコンピュータを動作させる制御プログラム等を備えている。通販サイト、ユーザー端末も、一つあるいは複数のコンピュータから構成されており、当該コンピュータは、処理手段、記憶手段、入力手段、出力手段ないし表示手段、コンピュータを動作させる制御プログラム等を備えている。商品推薦システム、通販サイト、ユーザー端末は、インターネットに代表されるコンピュータネットワークを介して相互に情報のやり取りを可能とする送受信手段を備えており、インターネットに代表されるコンピュータネットワークを介して互いに通信可能に接続されている。
【００３４】
本明細書において、通販サイト（ＥＣサイト）は、インターネット上での商品販売サイトであり、サイト運営者は、通販サイトの運営者で、本発明に係る商品推薦システムを導入し、通販サイトの利便性を向上させる立場ある者である。通販サイトは、１つあるいは複数のコンピュータから構成されるサイト運営者端末によって、インターネットを介して本発明の商品推薦システムと通信可能に接続されている。
【００３５】
ユーザーは、通販サイトの訪問者・利用者で、本発明に係る商品推薦システムの恩恵を直接受ける立場の者であり、ユーザーは、ユーザー端末によって、インターネットを介して本発明の商品推薦システムと通信可能に接続されている。
【００３６】
より具体的な構成では、本発明に係る商品推薦システムは、１つ以上の商品を含む複数の商品画像が格納された画像ファイルと、１つ以上の商品を含む各商品画像から背景領域を削除して１つの商品の領域を抽出する商品領域抽出手段と、各商品画像から抽出された商品領域に対応する各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納する画像情報データベースと、抽出された商品領域の画像特徴量を算出して、当該商品領域に対応する商品の画像特徴量を取得する画像特徴量取得手段と、画像特徴量取得手段により取得された各商品の画像特徴量を各商品ＩＤに関連付けて格納する特徴量データベースと、特徴量データベースに格納されている各商品の画像特徴量を類似度算出用特徴量として用いて各商品間の類似度を算出する類似度算出手段と、類似度算出手段により算出された各商品間の類似度を各商品ＩＤに関連付けて格納する類似商品データベースと、ユーザー端末から類似画像検索要求を受信する手段と、当該類似画像検索要求の元である商品の商品ＩＤをキーとして、当該商品に対する類似度の高い１つ以上の商品を、前記類似商品データベースから抽出する類似画像検索手段と、類似画像検索手段で抽出された商品に対応する商品画像及び商品情報をユーザー端末から閲覧可能とする手段と、を備えており、これらの構成要素は、コンピュータ（ハードウェア及びソフトウエア）から構成されている。
【００３７】
［Ｂ］データベース
本発明に係る商品推薦システムは、以下のデータベースを備えている。
【００３８】
（１）画像情報データベース
画像情報データベースは、画像情報を格納するデータベースであり、図１における類似検索エンジンの１つの構成要素である。図５に示すように、画像情報データベースには、商品ＩＤ、商品名、画像ファイルの場所（画像の参照先を表すデータ）、カテゴリ情報が含まれる。本実施態様では、商品画像と商品の対応関係は一対一となるので、商品ＩＤと画像ＩＤとを共通化することができる。
【００３９】
図５の例では、各商品ＩＤに対して、カテゴリ１〜カテゴリ５の５つのカテゴリが用意されている。カテゴリが５つまでというのは実施例で、1つの商品が複数のカテゴリに属することは多いので、望ましい態様では、任意の数のカテゴリが登録可能とする。また、cate001_003_004などが表しているのは、図９Ｂ、図９Ｆのページの下のほうに表示されているように大カテゴリのID、中カテゴリのID、小カテゴリのIDがアンダースコアで区切られて登録されている。図９Ｆに示す商品画像で説明すると、５つのカテゴリに属しており、各カテゴリは複数のカテゴリＩＤ（例えば、大カテゴリＩＤ001はレディースファッションに対応している）から階層構造となっている。
【００４０】
（２）特徴量データベース
特徴量データベースは、画像特徴量取得手段により算出された画像特徴量を格納するデータベースである。典型的には、画像特徴量は、色、形状、テクスチャを含む。図１における類似検索エンジンの１つの構成要素であり、類似検索エンジン内で作成され、類似検索エンジンに含まれる。
【００４１】
（３）類似商品データベース
類似度算出手段により算出された各商品間の類似度が格納されている。図１の類似商品テーブルに相当する。１つの態様では、各商品に対して、類似度が高い商品（例えば、上位２０個）の類似度をデータとして格納する。したがって、１つの商品ＩＤが商品推薦システムに入力されると、類似商品データベースを用いて、当該商品ＩＤと類似する上位２０の商品ＩＤを出力することができる。各商品間の類似度に加えて、あるいは代えて、各特徴量毎の類似度を保存させることで、各類似度算出用特徴量間に重みを設定する場合において、検索を高速化させることも可能である。
【００４２】
（４）画像ファイル
画像ファイルには、サイト運営者端末からインターネットを介して登録されたオリジナル商品画像および、商品領域抽出手段によって背景領域・商品領域が分割された２値化画像データ（図９Ｄ）が格納される。画像ファイルは、図１の類似検索エンジンの１つの構成要素である。２値化画像データをマスキング画像として、オリジナルの商品画像から背景領域を排除して前景領域を抽出する。オリジナル商品画像ファイルと、２値化画像ファイルは、両者が関連付けられていれば、共通の画像ファイルとして作成されても、別個の画像ファイルとして作成されてもよい。
【００４３】
（５）商品情報テーブル
商品情報テーブルは、商品情報を格納するテーブルである。商品情報テーブルは、通販サイトの商品ページ（Ｗｅｂページ）に類似検索によって抽出された類似商品を、本商品推薦システムが書き出していく際に、その書き出すべき情報を格納するテーブルである。本商品推薦システムでは、高速化のため類似商品テーブルから推薦すべき商品を検索するが、類似商品テーブルからは、表示すべき商品のIDしか得られないため、他の情報を商品情報テーブルが補完する。画像情報データベースには、商品情報として類似検索エンジンに必要な最低限のもの（例えば、商品名、カテゴリ情報）のみが登録される。一方、商品情報テーブルには、Webページに表示させたい情報全てを格納させる。例えば、推薦商品として、類似商品を表示するに際し、商品名と画像のみならず、商品説明文（図９Ｂ、図９Ｅ、図９Ｆ参照）や価格を表示させたい場合、このような情報は全て商品情報テーブルに保存される。
【００４４】
［Ｃ］類似画像検索エンジン部分
本システムの類似画像検索エンジン部分は図２に示すように、特徴量算出部分（商品領域抽出手段と画像特徴量取得手段とからなる）と検索部分（類似画像検索手段）とから構成される。
【００４５】
［Ｃ−１］特徴量算出部分の概要
（１）画像登録
サイト運営者が新規に画像を登録する。サイト運営者が、サイト運営者端末から商品推薦システムにコンピュータネットワークを介してアクセスすると、画像登録画面が閲覧可能となって、新規商品に商品ＩＤが付されて、新規商品の商品画像データ及び商品情報が登録される。商品画像データは、商品推薦システム側の画像ファイルに格納され、商品情報（商品名やカテゴリ）は、商品ＩＤと共に、画像ファイルに関連付けられて、画像情報データベースに格納される。
【００４６】
（２）商品部分の一部の指定
画像登録時に、登録した商品画像が、サイト運営者端末の表示手段上に表示される。サイト運営者が、マウスとして代表されるポインティングデバイス等の入力手段によって、画像内の商品部分の一部をドラッグ操作により範囲指定すると、指定された範囲のピクセルが商品部分（以降、「前景部分」）の特徴を表す代表ピクセルとして認識される。
【００４７】
これを図４Ａ〜４Ｃに基づいて説明する。新商品の商品画像が登録されると、登録された商品画像が表示部に表示される（図４Ａ）。表示された商品画像において、商品の部分を入力手段によって指定すると、指定された矩形領域内のピクセルを前景の代表ピクセルとして選択される（図４Ｂ）。あるいは、商品画像内において、前景を構成するピクセルの位置が予め決まっているような場合（例えば、中央領域）には、所定位置の所定サイズの矩形領域が自動的に指定されるようにしてもよい。一方、表示された商品画像の左右の側部において、４ピクセル分が背景の代表ピクセルとして自動的に選択される。これらの代表ピクセルの情報に基づいて、商品領域抽出手段により、商品画像を前景と背景とに分割することで背景領域を黒とした２値化画像が表示される（図４Ｃ、図３）。
【００４８】
図４Ａ〜４Ｃに示すインターフェースにおいて、Exitは、システムの終了；OKは、作成された背景画像の確定；Skipは、現在の画像の背景画像を作成せず、次の画像へ；Cancelは、作成された背景画像を破棄し、再度ドラッグ；Editは、入力手段を用いた背景画像の編集；である。背景除去において、導入する通販サイトの運営者のクライアント端末にて画像の中の商品部分をドラッグすることで、商品画像を前景と背景とに効率よく分割することができる。このことにより、商品画像の背景の影響を受けることなく、高い精度の類似検索を実現する。
【００４９】
（３）2段階方式の背景除去
本発明の１つの態様例では、背景部分と前景部分に属する領域を部分的に認識し、両領域の特徴を用いて背景除去を行う。すなわち、先ず、背景部分および前景部分の一部を特定する。そしての部分的に選択されたピクセル（入力手段で指定された矩形領域のピクセル、すなわち前景）でも、画像の側部の左右の４ピクセル（背景）でもないピクセルを、未確定ピクセルとして、閾値による第１分割手段、あるいは、教師付き機械学習による第２分割手段により、背景なのか前景なのか分類する。背景領域が単純な場合には、閾値を用いた手法で、高速に背景除去が行われる。背景領域が複雑で、閾値を用いた手法でうまく行かない場合は、学習を伴う手法で良好に背景除去が行われる。
【００５０】
より具体的な態様では、前ステップにおいて入力された前景部分と、背景部分（左右数ピクセルなど、予め商品部分が入る可能性が少ないピクセルを指定しておく）から、HLSチャネルの閾値設定による推定（後述）と、同手法が適用不能である場合には、k最近傍決定法による推定（後述）を用いる２段階方式の背景除去により、画像内のそれ以外部分が前景・背景のいずれかに属するかを推定し、背景部分を黒・前景部分を白とする2値化画像（マスキング画像）を生成する。
【００５１】
（４）前景部分の特徴量を算出し、インデックス化
登録されたオリジナル商品画像および、生成された２値化画像（マスキング画像）から、登録画像の前景部分について画像の特徴量を算出する。特徴量は、前景部分の色・形状・テクスチャについて算出する。
【００５２】
［Ｃ−２］検索部分の概要
（１）検索キー商品ＩＤ入力
類似検索のキーとする画像のID（画像と商品が１対１で対応しているので、商品ＩＤにより画像が特定される）を入力する。
【００５３】
（２）ベースとなる特徴量の類似度によりスクリーニング
色・形状・テクスチャ・カテゴリのうち、予め設定されたベースとなる特徴量において検索キー画像との類似度が上位の画像のみを抽出する（各特徴量の類似度算出方法は後述）。スクリーニングに用いる特徴量の選択は、図８に示す画面で行うことができる。図８の例では、カテゴリを特徴量としてスクリーニングが行われる。入力手段によって、色が選択されれば、色のみにおいて類似度が高い上位の画像が抽出される。スクリーニング工程は、重み付けとは関係なく実行される。
【００５４】
（３）全ての特徴量による重み付け類似度を算出
商品画像から背景領域を除去して抽出された画像について色・形状・テクスチャ・カテゴリそれぞれの特徴量における検索キー画像との類似度を算出する。各特徴量における類似度を、任意に設定する特徴量ウエイトにより重み付けを行い、重み付き類似度によって画像をソートする。
【００５５】
図８に示す例では、色、テクスチャ、形状、カテゴリの各特徴量について、入力手段でスライダの位置を選択することで重み付けが設定可能である。この態様では、重みは０〜１０の間で設定可能であり、図８の例では、色、テクスチャ、形状、カテゴリの重みが、それぞれ、５、５、２、２となっている。
【００５６】
dpijを特徴量pにおける画像iと画像jの類似度であるとすると、画像iと画像jの類似度rijは、次のように算出される。
【数１】
2009251850.tif 000003
１つの態様では、色の類似度は、距離関数としてEMD(Earth Mover’s Distance)、距離関数としてユークリッド距離を用いられる。EMDを用いた類似画像検索としては幾つかの手法が当業者に知られている。
【００５７】
（４）ソートされた中で類似度が高い画像から出力する。１つの態様では、類似度が高い上位２０の商品画像の商品ＩＤが、対象となる商品画像の商品ＩＤに関連付けられて類似商品データベースに格納される。
【００５８】
［Ｃ−３］背景除去の方法
まず、画像内の各ピクセルの色情報をHLS（色相・彩度・明度）表色系を用いて0-255の数値で表現する。ＲＧＢからＨＬＳの色変換は当業者において周知事項である。本発明に用いられる色空間は、ＨＬＳに限定されるものではなく、いかなる表色系でも、２段階方式は適用できる。当業者において、対象となる商品画像の性質によって、表色系を適宜選択することができる。例えば、背景が単純に赤であればＲＧＢが有利であろう。一方、背景が灰色のグラデュエーションであった場合にはＲＧＢよりも彩度を別に扱うことのできるＨＬＳなどの表色系のほうが有利であると考えられる。本実施態様では、商品画像の背景領域が単純な場合には、無彩色（白とか灰色とか）の場合が多いことを想定して、色そのものと彩度を別々に扱うことのできる表色系であるＨＬＳを採用した。
【００５９】
そして、前景部分および背景部分のH、L、Sのそれぞれのチャネルにおける、平均と標準偏差を算出する。ここで各チャネルにおける前景部分の平均をmf、標準偏差をsf、背景部分の平均をmb、標準偏差をsbとすると、sbがC(任意の定数)以下となっているチャネル（条件(1)）について、mf>mb（条件(2)）のときには、
【数２】
2009251850.tif 000004
として、u>lである（条件(3)）ならば、当該チャネルの値がtより小さいピクセルを背景として扱う。mb>mfのときには、同様に、
【数３】
2009251850.tif 000005
として、u>lである（条件(3)）ならば当該チャネルの値がｔより大きいピクセルを背景として扱う。いずれかのチャネルにおいて、背景とみなされたピクセルは背景としてみなされる。一方、どのチャネルにおいても、条件(1)・条件(2)・条件(3)を満たすことができない場合、次に述べるk最近傍決定法を用いて背景を除去する。尚、任意の定数Ｃ、ａは、当業者によって適宜設定し得る。
【００６０】
上記閾値を設定することによる分割手段により実行されるステップの詳細は以下の通りである。
１．画像において前景を代表する複数のピクセル、背景を代表する複数のピクセルをそれぞれ選択する（前ステップ）。
２．前景を代表するものとして選択された複数のピクセルにおいて、各ピクセルの色情報を構成する複数の要素（ＨＬＳ，ＲＧＢ等）について、各要素毎に平均mfと標準偏差sfを算出する。また、前処理として、必要に応じて色空間の変換処理が行われることは当業者において周知である。
３．背景を代表するものとして選択された複数のピクセルにおいて、各ピクセルの色情報を構成する複数の要素（ＨＬＳ，ＲＧＢ等）について、各要素毎に平均mbと標準偏差sbを算出する。
４．背景を代表する複数の画素に関して、各要素において、条件(1)を満たすか否かを判定する。
５．全ての要素において４が「No」の場合、機械学習ステップに移行する。
６．４が「Yes」の場合、条件(2)を満たすか否かを判定する。
７．６が「Yes」の場合、条件(3)を満たすか否かを判定する。
８．全ての要素において７が「No」の場合、機械学習ステップに移行する。
９．７が「Yes」の場合、tを閾値として、tより小さいピクセルを背景として除去する。
７−１．mf<mbの場合、(3)を満たすか否かを判定する。
８−１．全ての要素において７−１が「No」の場合、機械学習ステップに移行する。
９−１．７−１が「Yes」の場合、ｔを閾値として、ｔより大きいピクセルを背景として除去する。
また、全ての要素においてｍｂ＝ｍｆの場合は、閾値設定による分割ステップの条件を満たしていないということで、機械学習ステップに移行する。
【００６１】
上記閾値の設定においては、ピクセル情報の特徴を代表する値として平均を用いたが、平均に代えて、中央値、最頻値などの指標を用いたり、標準偏差の代替として、分散や4分位間距離を利用することもできる。
【００６２】
また、上記の式の変形で、
【数４】
2009251850.tif 000006
のように、標準偏差を利用せず、閾値を定数で定めてしまうことも考えられる。
より簡便化すると、
【数５】
2009251850.tif 000007
として、tよりも大きいか否かにより、背景を識別する。
また、tを基準に前景背景を切り分けるのではなく、u以上を背景、l以下を前景として、それ以外を未確定とし、ここまでで確定した部分を教師信号として、k最近傍決定法を適用することもできる。
【００６３】
教師付き機械学習として例示するk最近傍決定法では、推測すべきピクセルと、前景部分、背景部分に含まれるピクセルとのHLS表色系における距離を算出し、推測するピクセルに距離が最も近いものからk個のピクセルを取り出し、それらが前景部分、背景部分どちらからのものが多いかによって、ピクセルを推測する。最後に、注目ピクセルの8近傍を調べ、1つでも背景部分があればそのピクセルを背景として扱う収縮と、注目ピクセルの８近傍が1つでも前景部分となっていれば前景として扱う膨張を交互に適用することで、マスキング画像を滑らかに加工する。
【００６４】
［Ｃ−４］各特徴量間の距離の計算方法
本発明の１つの態様では、類似度算出用特徴として、画像特徴量、商品名、商品のカテゴリ情報を用いる。画像特徴量としては、以下に記載するように、色、テクスチャ、形状が用いられる。尚、これらの画像特徴量の取得および距離計算については、当業者において幾つかの手法が知られており、以下の記載に限定されるものではない。
【００６５】
（１）色
色の距離については、EMD(Earth Mover’s Distance)を用いる。各画像に対して図６のような特徴量を定義する。画像Pと画像Qの特徴量をそれぞれ、
【数６】
2009251850.tif 000008
のように表す。このとき、PとQの類似度を、線形計画問題の輸送問題の解として表現する。すなわち、
【数７】
2009251850.tif 000009
のとき、
【数８】
2009251850.tif 000010
を最小化したものを、次の通り正規化したものとする。
【数９】
2009251850.tif 000011
【００６６】
（２）テクスチャ
テクスチャの取得には、ローカルバイナリパターン（ＬＢＰ）を用いる。図７に示すように、着目ピクセルAを中心として、そこから半径2.5ピクセルの円を考える。この円周上に16個のピクセルB1,B2,...,B16を等間隔にとる。次に着目ピクセルAとピクセルBnの濃度値（グレースケール値）の大小関係を調べて、着目ピクセルAに対して、16方向について着目ピクセルAの濃度値よりも「濃い」または「薄い」を表す、０・１データを取得する。0・1の取り方は２１６の組があるが、２１６通りのビットパターンを16通りのパターンのどれかに振り分ける。例えば、a1, a2,
a3, ,,,,,   ,a16のどれかのパターンにある決まった規則で振り分ける（例えば、最も濃い方向は1-16のうちどの方向かなどで振り分ける）。こうすることで、着目ピクセルが、a1,,,,a16のどれかに振り分けられる。画像全体で見ると、ピクセルが、a1,,,,a16に対してどの程度の割合で分布しているかがわかるので、画像の中でa1,,,,,a16のそれぞれのパターンにどれだけの割合が含まれているかを表す16次元のベクトルを、ある画像に対するテクスチャの特徴量とする。
【００６７】
（３）形状
形状の特徴量は、背景が除去された前景部分の重心を画像の中心位置に移動させ、全ての画像の前景部分の面積が同様になるように正規化をする。その上で、画像を50×50の領域に分割し、各領域が前景か背景かを0・1の2値データにより表現し、各画像につき2500次元の特徴量を保持する。
【００６８】
（４）カテゴリ
図５の形式で保存しているカテゴリのデータを用いて、検索キー画像と、比較する画像の間で、いくつのカテゴリについて重複しているか、カテゴリの階層としてはどの深さまで合致しているかを考慮して類似度を算出する。カテゴリ情報は、画像特徴量ではないが、類似画像検索手段において、類似度計算に使用され、色・形状・テクスチャの類似度との加重平均により、比較する画像間の類似度が算出される。商品のカテゴリによる類似度計算と商品名の合致度による類似度計算を加えることで、類似画像検索の精度を向上させることができる。カテゴリの類似度について次に具体的に説明する。
【００６９】
（４−１）カテゴリで最初にスクリーニングする場合
（ア）まず検索したい商品ID（仮に商品名XXX)が与えられる。
（イ）商品XXXが属する最下層のカテゴリIDを探索する。
商品XXXが、２つのカテゴリ情報：
cate001_002_003；
cate001_004_005_006；を備えていたとする。
この場合、cate001_002_003とcate001_004_005_006に属する商品を探索する。
ここで、各カテゴリから、以下のように商品が得られたとする。
cate001_002_003:商品A、商品B、商品C
cate001_004_005_006:商品A、商品D、商品E、商品F
cate001_004_005_006のほうがcate001_002_003よりも階層が深いのでより適切な商品が得られていると推定できる。したがって、cate001_004_005_006から得られた商品のほうが類似度が高い。
カテゴリ階層の深さの程度は、当業者において適宜数値化され得るものであり、例えば、cate001_002_003から得られた各商品に３ポイント、着目商品とcate001_004_005_006から得られた各商品に４ポイントを付与する。
また、商品Aは２つのカテゴリから得られているので、商品Aの類似度は他のものよりも高い。
共通するカテゴリは、当業者において適宜数値化され得るものであり、例えば、商品Ａについては２ポイント、商品Ｂ〜Ｆについては１ポイントを付与する。
以上のように、カテゴリ階層の深さと、いくつのカテゴリに属しているかで類似度を数値で決めている。
また、カテゴリ階層の深さの程度、共通するカテゴリの数を用いてカテゴリ全体の類似度を算出する手法についても、当業者において適宜数値化され得る。例えば、単純にポイントを加算する、あるはカテゴリ階層の深さに基づくポイントと共通するカテゴリの数に基づくポイントを乗算する、あるいは、加算、乗算等を組み合わせること等が採用し得る。
（ウ）検索したい商品XXXの商品名と同じような商品名を持っているものがいい検索結果だと考えて、XXXの商品名と検索された商品A,B,C,D,E,Fの商品名が似ているかどうかを調べる。このために、１つの態様では、商品名同士のLongest Common Substringを計算し、計算結果に基づいて商品名の類似度を数値かする。商品名の類似度を用いることで、商品間の類似度を高める操作を行う。尚、商品名の類似度の取得方法は、Longest Common Substringに限定されるものではなく、その他様々な手法が取り得ることは当業者に理解される。
【００７０】
（４−２）カテゴリでスクリーングしない場合
上記（イ）の部分が異なる。
カテゴリでスクリーングする場合には、検索したい商品が属する最下層のカテゴリのみを考えていたが、カテゴリでスクリーングしない場合には、これを止め、より上位のカテゴリから得られる商品も対象とする。共通するカテゴリ階層の深さと、いくつの共通のカテゴリに属しているかで類似度を数値で決める点は同じである。
最終的に、カテゴリで算出したスコアと、商品名で算出したスコアの加重平均により、カテゴリおよび商品名（メタデータ）の類似性も加味した類似画像検索を実現する。
【００７１】
［Ｄ］商品推薦システムの全体の流れ
類似画像検索を用いた商品推薦システムの全体の流れについて説明する。
【００７２】
［Ｄ−１］準備段階
本商品推薦システムを利用する通販サイトの商品ページのソースコード上にJavaScriptによるスクリプトを埋め込む。
【００７３】
［Ｄ−２］新商品登録時
サイト運営者が、サイト運営者のクライアント端末から新商品の商品画像をインターネットを介して商品推薦システムに登録すると、商品推薦システムは新たに登録された画像を類似検索エンジンに登録して特徴量を算出、登録した画像をキーとして類似画像検索を実行する。同時に、新たに登録された商品の画像以外の付帯情報を商品情報テーブルに保存する。また、類似画像検索の結果、エンジン部分より返ってきた類似画像のIDを類似商品テーブルに保存する。
【００７４】
［Ｄ−３］定期的な処理
全ての商品を検索キーとして、類似画像検索を一括実行し、全ての画像に対する類似度上位の画像の組み合わせを類似画像テーブルを更新する。
【００７５】
［Ｄ−４］ユーザーの通販サイト商品ページ閲覧時
インターネットを介してユーザー端末から通販サイトに閲覧要求があると、図９Ａに示すような画面がユーザー端末の表示手段に表示される。図９Ａの左上の画像の商品詳細のボタンを選択する、図９Ｂに示す画面がユーザー端末に表示される。図９Ｂの画面において、類似商品検索ボタンが選択されて、類似商品検索が実行されると、予め埋め込んだJavaScriptタグが、本商品推薦システムに問い合わせを行い、商品推薦システムが表示中のページの商品に対する類似商品の情報を呼び出し、JavaScriptを通して類似商品をブラウザ上に書き込んで、図９Ｃに示すような画面がユーザー端末の表示手段に表示される。尚、図９Ｂ、図９Ｃは、管理を目的として商品推薦システム側の表示手段に表示する画面を示しており、ユーザー端末に表示する場合には、カテゴリＩＤや背景除去画像ボタンは不要である。また、検索結果を図９Ｃのように表示せずに、図９Ｅに示すように表示してもよい。
【図面の簡単な説明】
【００７６】
【図１】本発明に係る商品推薦システムの全体図である。
【図２】商品推薦システムの類似検索エンジンの構成を示す図である。
【図３】左図は、商品領域（前景）の指定、右図は、前景と背景との分割後の２値化画像を示す。
【図４Ａ】サイト運営者端末の表示手段に表示された商品画像を示す。
【図４Ｂ】図４Ａに示す商品画像において、商品領域（前景）の指定を説明する図である。
【図４Ｃ】前景と背景との分割後の２値化画像を示す。
【図５】画像情報データベースの構造を示す図である。
【図６】色の特徴量の算出に関連する図である。
【図７】テクスチャの特徴量の算出に関連する図である。
【図８】画像検索のパラメータ設定を例示する画面である。
【図９Ａ】登録された複数の商品画像を表示する画面である。
【図９Ｂ】図９Ａにおいて、左上の商品画像の「商品詳細へ」を選択した時に表示される画面である。
【図９Ｃ】図９Ａの左上の商品画像あるいは図９Ｂにおいて、「類似商品検索」を選択した時に表示される画面である。
【図９Ｄ】図９Ｃにおいて、左上の商品画像の「背景除去画像」を選択した時に表示される画面である。
【図９Ｅ】「類似商品検索」を選択した時に表示される画面の他の例を示す。
【図９Ｆ】「商品詳細」が選択された場合に表示される画面の他の例を示す。
【図２】
2009251850.tif 000012
【図５】
2009251850.tif 000013
【図９Ｄ】
2009251850.tif 000014
【図１】
2009251850.tif 000015
【図３】
2009251850.tif 000016
【図４Ａ】
2009251850.tif 000017
【図４Ｂ】
2009251850.tif 000018
【図４Ｃ】
2009251850.tif 000019
【図６】
2009251850.tif 000020
【図７】
2009251850.tif 000021
【図８】
2009251850.tif 000022
【図９Ａ】
2009251850.tif 000023
【図９Ｂ】
2009251850.tif 000024
【図９Ｃ】
2009251850.tif 000025
【図９Ｅ】
2009251850.tif 000026
【図９Ｆ】
2009251850.tif 000027