(57)【要約】【課題】商品ウェブページの商品の類似性を求めてユーザの利便性の向上を図る。【解決手段】第１の商品ウェブページおよび第２の商品ウェブページを取得し（Ｓ１）、各商品ウェブページ内に記述されているテキストデータを抽出し（Ｓ２）、テキストデータを言語解析して各商品ウェブページの特徴語候補を抽出し（Ｓ３）、特徴語候補を検索キーワードとする検索クエリを作成して検索クエリに基づく検索結果を取得し（Ｓ４）、検索結果のスニペット中にカテゴリ関連語が存在するか否かを判定し、スニペット中にカテゴリ関連語が存在する場合の特徴語候補を特徴語に決定し（Ｓ６）、特徴語に基づき、第１および第２の商品ウェブページ間の類似度を算出し（Ｓ７）、類似度が所定の値以上である場合、第１および第２の商品ウェブページは類似商品を扱う商品ウェブページであると判定する（Ｓ８）。【選択図】図５
2013101415.tif 000002
【特許請求の範囲】
【請求項１】
商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶手段と、
第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段と、
前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出手段と、
抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出手段と、
前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得手段と、
前記カテゴリ関連語記憶手段を参照して、前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定手段と、
前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定手段と、
前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出手段と、
前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定手段と、
を備えたことを特徴とする商品ウェブページ分析装置。
【請求項２】
請求項１に記載の商品ウェブページ分析装置において、
前記類似度算出手段が、前記第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の前記特徴語に基づき、前記類似度を算出することを特徴とする商品ウェブページ分析装置。
【請求項３】
請求項２に記載の商品ウェブページ分析装置において、
前記類似度算出手段が、前記第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の前記特徴語の逆出現頻度に基づき前記類似度を算出することを特徴とする商品ウェブページ分析装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の商品ウェブページ分析装置において、
ショッピングサイトのドメイン名を記憶するドメイン名記憶手段を更に備え、
前記検索結果判定手段が、前記カテゴリ関連語記憶手段および前記ドメイン名記憶手段を参照して、前記検索結果において、ショッピングサイトのスニペット中に前記カテゴリ関連語が存在するか否かを判定することを特徴とする商品ウェブページ分析装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の商品ウェブページ分析装置において、
前記特徴語候補抽出手段が、前記テキストデータを形態素解析によって前記言語解析して得られた形態素から、ノイズの形態素を除去するノイズ除去手段を有することを特徴とする商品ウェブページ分析装置。
【請求項６】
商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶ステップと、
第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段と、
前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出ステップと、
抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出ステップと、
前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得ステップと、
前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定ステップと、
前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定ステップと、
前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出ステップと、
前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定ステップと、
を有することを特徴とする商品ウェブページ分析方法。
【請求項７】
コンピュータを、
商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶手段、
第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段、
前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出手段、
抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出手段、
前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得手段、
前記カテゴリ関連語記憶手段を参照して、前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定手段、
前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定手段、
前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出手段、および、
前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定手段として機能させることを特徴とする商品ウェブページ分析装置用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット上のショッピングサイトにおける商品に関するウェブページを分析する商品ウェブページ分析装置、商品ウェブページ分析方法、および、商品ウェブページ分析装置用のプログラムの技術分野に関する。
【背景技術】
【０００２】
インターネット上のショッピングサイトには商品を扱った商品ウェブページが多数あり、ユーザはその商品ウェブページを閲覧して商品の購入を行っている。閲覧して購入する際、ユーザは通常、商品検索を行っている。この検索の技術において、多くの商品ウェブページの中からユーザが欲しい商品を的確に探すために検索精度の向上を図ることが行われている。例えば、特許文献１には、商品に登録された商品説明情報のシードかノイズかの識別を高精度に行うことで、商品検索の精度向上を図るため、複数のストアが種々の商品カテゴリ毎に提供する商品毎に登録される情報である商品説明情報が属する商品カテゴリの数をカテゴリ頻度として商品説明情報毎に算出するカテゴリ頻度算出部と、商品説明情報が属するストアの数をストア頻度として商品説明情報毎に算出するストア頻度算出部と、算出されたカテゴリ頻度とストア頻度との比率から分類規則情報を生成する機械学習部と、生成された分類規則情報に基づいて商品説明情報がノイズ情報又は商品特定情報かを識別し分類する判定部と、を備える商品情報分類装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２９０８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、サイバーモールのような様々な店舗が参加するタイプのショッピングサイトにおいて、ショッピングサイトに出店している各業者（店舗主）が独自に各商品ウェブページを作成している場合、同一商品でも商品の説明文が異なったり、表記の方法の統一がなされていなかったりすることがある。また、他の店舗よりもユーザにアピールするために店舗独自の情報が商品ウェブページに付与されたり、商品ウェブページの見出し部分が様々な情報で埋め尽くされたりしている。
【０００５】
このため、単純に検索するだけでは、所望する商品ウェブページを発見することが難しく、ユーザは同一商品と思われる様々な商品ウェブページを閲覧して、購入するサイトを決定する必要があった。特許文献１のように単に検索の精度を上げただけでは、上記問題を解決することが難しかった。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、商品ウェブページの商品の類似性を求めてユーザの利便性の向上を図ることができる商品ウェブページ分析装置、商品ウェブページ分析方法、および、商品ウェブページ分析装置用のプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶手段と、第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段と、前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出手段と、抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出手段と、前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得手段と、前記カテゴリ関連語記憶手段を参照して、前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定手段と、前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定手段と、前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出手段と、前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定手段と、を備えたことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の商品ウェブページ分析装置において、前記類似度算出手段が、前記第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の前記特徴語に基づき、前記類似度を算出することを特徴とする。
【０００９】
請求項３に記載の発明は、請求項２に記載の商品ウェブページ分析装置において、前記類似度算出手段が、前記第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の前記特徴語の逆出現頻度に基づき前記類似度を算出することを特徴とする。
【００１０】
請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の商品ウェブページ分析装置において、ショッピングサイトのドメイン名を記憶するドメイン名記憶手段を更に備え、前記検索結果判定手段が、前記カテゴリ関連語記憶手段および前記ドメイン名記憶手段を参照して、前記検索結果において、ショッピングサイトのスニペット中に前記カテゴリ関連語が存在するか否かを判定することを特徴とする。
【００１１】
請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の商品ウェブページ分析装置において、前記特徴語候補抽出手段が、前記テキストデータを形態素解析によって前記言語解析して得られた形態素から、ノイズの形態素を除去するノイズ除去手段を有することを特徴とする。
【００１２】
請求項６に記載の発明は、商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶ステップと、第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段と、前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出ステップと、抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出ステップと、前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得ステップと、前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定ステップと、前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定ステップと、前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出ステップと、前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定ステップと、を有することを特徴とする。
【００１３】
請求項７に記載の発明は、コンピュータを、商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶手段、第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段、前記各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出手段、抽出した前記テキストデータを言語解析して、前記各商品ウェブページの特徴語候補を抽出する特徴語候補抽出手段、前記特徴語候補を検索キーワードとする検索クエリを作成し、前記検索クエリに基づく検索結果を取得する検索結果取得手段、前記カテゴリ関連語記憶手段を参照して、前記検索結果のスニペット中に前記カテゴリ関連語が存在するか否かを判定する検索結果判定手段、前記スニペット中に前記カテゴリ関連語が存在する場合の前記特徴語候補を前記各商品ウェブページの特徴語に決定する特徴語決定手段、前記特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出手段、および、前記類似度が所定の値以上である場合、前記第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定手段として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、商品を分類するカテゴリに関連するカテゴリ関連語を記憶し、第１の商品ウェブページおよび第２の商品ウェブページを取得し、各商品ウェブページ内に記述されているテキストデータを言語解析して各商品ウェブページの特徴語候補を抽出し、特徴語候補を検索キーワードとする検索クエリを作成して検索クエリに基づく検索結果を取得し、検索結果のスニペット中にカテゴリ関連語が存在するか否かを判定し、スニペット中にカテゴリ関連語が存在する場合の特徴語候補を各商品ウェブページの特徴語に決定し、特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出し、類似度が所定の値以上である場合、第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定することにより、商品ウェブページの商品の類似性を求めて、例えば、同一や類似の商品を扱う商品ウェブページをまとめ上げることができるため、ユーザの利便性の向上を図ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る商品ウェブページ分析システムの概要構成例を示す模式図である。
【図２】図１の商品ウェブページ分析サーバの概要構成の一例を示すブロック図である。
【図３】図１のショッピングサーバの概要構成の一例を示すブロック図である。
【図４】図１の検索サーバの概要構成の一例を示すブロック図である。
【図５】図１の商品ウェブページ分析サーバにおいて商品ウェブページを分析する動作例を示すフローチャートである。
【図６】図１のショッピングサーバの商品ウェブページの一例を示す説明図である。
【図７】図６の商品ウェブページのソースコードの一例を示す説明図である。
【図８】図６の商品ウェブページのテキストデータの分析過程の一例を示す模式図である。
【図９】図１の検索サーバの検索結果の一例を示す模式図である。
【図１０】図２のドメイン名データベースに記憶されたショッピングサイトのドメイン名の一例を示す模式図である。
【図１１】図２のカテゴリ関連語データベースに記憶されたカテゴリ関連語の一例を示す模式図である。
【図１２】図１の商品ウェブページ分析サーバにおける類似度算出のサブルーチンの一例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、商品ウェブページ分析システムに対して本発明を適用した場合の実施形態である。
【００１７】
［１．商品ウェブページ分析システムの構成および機能概要］
【００１８】
まず、本発明の一実施形態に係る商品ウェブページ分析システムの構成および概要機能について、図１を用いて説明する。
【００１９】
図１は、本実施形態に係る商品ウェブページ分析システム１の概要構成例を示す模式図である。
【００２０】
図１に示すように、商品ウェブページ分析システム１は、商品ウェブページを分析する商品ウェブページ分析サーバ（商品ウェブページ分析装置の一例）１０と、ショッピングサイトを運営するために設置されたショッピングサーバ２０と、インターネット上のウェブページのウェブ検索の機能を提供する検索サーバ３０と、ショッピングサイトに出店している店舗主の店舗主端末４０と、ショッピングサイトで商品の購入をするユーザのユーザ端末４５と、を備えている。
【００２１】
商品ウェブページ分析サーバ１０と、ショッピングサーバ２０と、検索サーバ３０とは、ローカルエリアネットワーク等により接続され、相互にデータの送受信が可能になっていて、サーバシステム５を構成している。そして、サーバシステム５と、店舗主端末４０と、ユーザ端末４５とは、ネットワーク３により接続され、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、およびゲートウェイ等により構築されている。
【００２２】
商品ウェブページ分析サーバ１０は、ショッピングサーバ２０に登録された商品ウェブページを分析したり、分析結果に基づいてショッピングサーバ２０上の商品ウェブページの整理を行ったり、商品ウェブページを登録した店舗主等の店舗主端末４０やユーザ端末４５等に分析結果を通知したりする。
【００２３】
ショッピングサーバ２０は、ショッピングサイトで商品を販売するためのウェブサーバやデータベースサーバ等として機能し、商品ウェブページの登録の受け付けや、ユーザ登録や、商品等の購入手続き等の各種処理を行う。また、ショッピングサーバ２０は、商品のカテゴリ毎に分類された商品ウェブページを有している。
【００２４】
検索サーバ３０は、インターネット等上の検索エンジンとして機能し、検索ＡＰＩ（Application Programming Interface）の機能を、商品ウェブページ分析サーバ１０に提供したり、端末から検索キーワードを含む受信した検索クエリに基づき、ウェブページ等の検索対象を検索して、検索結果を返したりする。また、検索サーバ３０は、検索用のデータベースを構築するために、ショッピングサーバ２０や、図示しないインターネット上のウェブサイトからウェブページの情報を収集し、ウェブページの情報を予め解析し、検索のためのインデックス情報や検索結果のスニペットを作成する。ここで、スニペットとは、各検索結果の説明文等のテキストであって、検索でヒットしたウェブページの要約や、そのウェブページ内に記述された検索キーワードを含んだ文章等である。
【００２５】
店舗主が使用する店舗主端末４０は、パーソナルコンピュータや携帯型無線電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末である。店舗主は店舗主端末４０を使用して、商品ウェブページをショッピングサーバ２０に登録したり、更新したりする。
【００２６】
ユーザが使用するユーザ端末４５は、パーソナルコンピュータや携帯型無線電話機やＰＤＡ等の携帯端末である。ユーザはユーザ端末４５を使用して、商品の検索や購入等を行う。
【００２７】
［２．各サーバの構成および機能］
（２．１  商品ウェブページ分析サーバ１０の構成および機能）
次に、商品ウェブページ分析サーバ１０の構成および機能について、図２を用いて説明する。
【００２８】
図２は、商品ウェブページ分析サーバ１０の概要構成の一例を示すブロック図である。
【００２９】
図２に示すように、コンピュータとして機能する商品ウェブページ分析サーバ１０は、通信部１１と、記憶部１２と、入出力インターフェース部１３と、システム制御部１４と、を備えている。そして、システム制御部１４と入出力インターフェース部１３とは、システムバス１５を介して接続されている。
【００３０】
通信部１１は、ネットワーク３に接続してユーザ端末４５等との通信状態を制御したり、ローカルエリアネットワークに接続して、ショッピングサーバ２０や検索サーバ３０等の他のサーバとデータの送受信を行ったりする。
【００３１】
記憶部１２は、例えば、ハードディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、データ等を記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。
【００３２】
また、記憶部１２には、カテゴリ関連語記憶手段の一例としてのカテゴリ関連語データベース１２ａ（以下「カテゴリ関連語ＤＢ」とする。）や、ドメイン名記憶手段の一例としてのドメイン名データベース（以下「ドメイン名ＤＢ」とする。）１２ｂや、特徴語データベース（以下「特徴語ＤＢ」とする。）１２ｃ等が構築されている。
【００３３】
カテゴリ関連語ＤＢ１２ａには、ショッピングサイトにおける商品のカテゴリ毎に用語が記憶されている。例えば、”ワイン”のカテゴリには、”ワイン”、”お酒”等のカテゴリ関連語が、”ゴルフドライバー”のカテゴリには、”ゴルフ”、”ドライバー”、”クラブ”等のカテゴリ関連語が予め記録されている。また、カテゴリは階層構造になっていて、例えば、”ワイン”のカテゴリは、”洋酒”のカテゴリに属する。これらカテゴリ関連語は、各カテゴリに対応する識別子に関連付けられて記憶されている。このように、カテゴリ関連語ＤＢ１２ａは、商品を分類するカテゴリに関連するカテゴリ関連語を記憶するカテゴリ関連語記憶手段の一例として機能する。
【００３４】
ドメイン名ＤＢ１２ｂには、インターネット上の様々なショッピングサイトのドメイン名が予め記憶されている。このように、ドメイン名ＤＢ１２ｂは、ショッピングサイトのドメイン名を記憶するドメイン名記憶手段の一例として機能する。
【００３５】
特徴語ＤＢ１２ｃには、商品ウェブページ分析サーバ１０による分析結果の一例として、商品ウェブページから、抽出した商品ウェブページの特徴語が記憶されている。特徴語は、商品ウェブページのＵＲＬ（Uniform Resource Locator）等に関連付けられて記憶されている。
【００３６】
次に、入出力インターフェース部１３は、通信部１１および記憶部１２とシステム制御部１４との間のインターフェース処理を行うようになっている。
【００３７】
システム制御部１４は、ＣＰＵ（Central Processing Unit）１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ等により構成されている。そして、システム制御部１４は、ＣＰＵ１４ａが、ＲＯＭ１４ｂや記憶部１２に記憶された各種プログラムを読み出し実行することにより、商品ウェブページのテキストデータから各商品ウェブページの特徴語候補を抽出したり、特徴語候補から特徴語を決定したり、特徴語に基づき、商品ウェブページ間の類似度を算出したりする。
【００３８】
（２．２  ショッピングサーバ２０の構成および機能）
次に、ショッピングサーバ２０の構成および機能について、図に基づき説明する。
図３は、ショッピングサーバ２０の概要構成の一例を示すブロック図である。
【００３９】
図３に示すように、ショッピングサーバ２０は、通信部２１と、記憶部２２と、入出力インターフェース部２３と、システム制御部２４と、を備え、システム制御部２４と入出力インターフェース部２３とは、システムバス２５を介して接続されている。なお、ショッピングサーバ２０の構成および機能は、商品ウェブページ分析サーバ１０の構成および機能とほぼ同じであるので、商品ウェブページ分析サーバ１０の各構成や各機能において、異なるところを中心に説明する。
【００４０】
通信部２１は、ネットワーク３やローカルエリアネットワーク等を通して、店舗主端末４０やユーザ端末４５や商品ウェブページ分析サーバ１０等と通信状態を制御等するようになっている。
【００４１】
記憶部２２には、商品データベース（以下「商品ＤＢ」とする。）２２ａや、会員データベース（以下「会員ＤＢ」とする。）２２ｂ等が構築されている。
【００４２】
商品ＤＢ２２ａには、商品を識別するための識別子である商品ＩＤに関連付けられ、商品名、種類、商品の画像、スペック、および、商品紹介の要約文等の商品情報や、広告情報等が記憶されている。また、商品ＤＢ２２ａには、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語等により記述された商品ウェブページのファイル等が記憶されている。
【００４３】
会員ＤＢ２２ｂには、会員登録されたユーザ（インターネットショップの利用者）のユーザＩＤ、名称、住所、電話番号、メールアドレス等のユーザ情報が登録されている。このようなユーザ情報は、ユーザＩＤによってユーザ毎に判別可能になっている。また、会員ＤＢ２２ｂには、ユーザがユーザ端末４５からインターネットショップのサイトにログインする際に必要な、ユーザＩＤ、ログインＩＤ、および、パスワードが登録されている。ここで、ログインＩＤおよびパスワードは、ログイン処理（ユーザの認証処理）に使用されるログイン情報である。
【００４４】
システム制御部２４は、ＣＰＵ２４ａ、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等により構成されている。そして、システム制御部２４は、ＣＰＵ２４ａが、ＲＯＭ２４ｂや記憶部２２に記憶された各種プログラムを読み出し実行することにより、店舗主による商品ウェブページの登録や更新や、ユーザによる商品購入処理や、商品の購買履歴をユーザＩＤ毎に記録させたりする。
【００４５】
（２．３  検索サーバ３０の構成および機能）
次に、検索サーバ３０の構成および機能について、図に基づき説明する。
図４は、検索サーバ３０の概要構成の一例を示すブロック図である。
【００４６】
図４に示すように、検索サーバ３０は、通信部３１と、記憶部３２と、入出力インターフェース部３３と、システム制御部３４と、を備え、システム制御部３４と入出力インターフェース部３３とは、システムバス３５を介して接続されている。なお、検索サーバ３０の構成および機能は、商品ウェブページ分析サーバ１０の構成および機能とほぼ同じであるので、商品ウェブページ分析サーバ１０の各構成や各機能において、異なるところを中心に説明する。
【００４７】
通信部３１は、ネットワーク３やローカルエリアネットワーク等を通して、ユーザ端末４５や商品ウェブページ分析サーバ１０等と通信状態を制御等するようになっている。
【００４８】
記憶部３２には、検索データベース（以下「検索ＤＢ」とする。）３２ａ等が構築されている。
【００４９】
検索ＤＢ３２ａには、インデクサーにより生成されたインデックス情報や、スニペット等が記憶されている。
【００５０】
システム制御部３４は、ＣＰＵ３４ａ、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ等により構成されている。そして、システム制御部３４は、ＣＰＵ３４ａが、ＲＯＭ３４ｂや記憶部３２に記憶された各種プログラムを読み出し実行することにより、インターネット上のウェブページの情報を収集し、ウェブページの情報を予め解析し、インデックス情報や検索結果のスニペットを作成したり、商品ウェブページ分析サーバ１０やユーザ端末４５からの検索クエリに基づき、検索をしたり、検索結果を送信したりする。
【００５１】
［３．商品ウェブページ分析システムの動作］
次に、本発明の一実施形態に係る商品ウェブページ分析システム１の動作について図５〜図１１に基づき説明する。
【００５２】
図５は、商品ウェブページ分析サーバ１０において商品ウェブページを分析する動作例を示すフローチャートである。図６は、ショッピングサーバ２０の商品ウェブページの一例を示す説明図である。図７は、商品ウェブページのソースコードの一例を示す説明図である。図８は、商品ウェブページのテキストデータの分析過程の一例を示す模式図である。図９は、検索サーバ３０の検索結果の一例を示す模式図である。図１０は、ドメイン名ＤＢ１２ｂに記憶されたショッピングサイトのドメイン名の一例を示す模式図である。図１１は、カテゴリ関連語ＤＢ１２ａに記憶されたカテゴリ関連語の一例を示す模式図である。図１２は、商品ウェブページ分析サーバ１０における類似度算出のサブルーチンの一例を示すフローチャートである。
【００５３】
（３．１．商品ウェブページの分析の流れ）
まず、商品ウェブページの分析の流れについて、図５を用いて説明する。
【００５４】
図５に示すように、商品ウェブページ分析サーバ１０は、２つの商品ウェブページを取得する（ステップＳ１）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、商品ＤＢ２２ａにおいて、同一のカテゴリ（例えば、カテゴリ”ワイン”）に所属している商品に関して、第１の商品ウェブページおよび第２の商品ウェブページを、通信部１１を通して商品ＤＢ２２ａから取得する。これら商品ウェブページは、店舗主端末４０を通して、店舗主等により登録された商品ウェブページである。このように、商品ウェブページ分析サーバ１０のシステム制御部１４および通信部１１は、第１の商品ウェブページおよび第２の商品ウェブページを取得する商品ウェブページ取得手段の一例として機能する。
【００５５】
次に、商品ウェブページ分析サーバ１０は、各商品ウェブページからテキストデータを抽出する（ステップＳ２）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、各商品ウェブページ内に記述されているテキストデータを抽出する。さらに具体的には、図６に示すように、商品ウェブページ５０において、テキスト部５１、５２、５３、５４のテキストデータが抽出される。また、図７に示すように、ＨＴＭＬ等のマークアップ言語等で記述されたソースコードの中のデータも利用する。例えば、ＨＴＭＬタグのtitle要素の部分のテキストデータも抽出される。
【００５６】
このように、商品ウェブページ分析サーバ１０のシステム制御部１４は、各商品ウェブページ内に記述されているテキストデータを抽出するテキストデータ抽出手段の一例として機能する。
【００５７】
次に、商品ウェブページ分析サーバ１０は、抽出したテキストデータから言語解析の一例である形態素解析によって特徴語候補を抽出する（ステップＳ３）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、形態素解析のプログラムを用い、抽出したテキストデータを形態素に分解し、各文節の品詞等を求める。図８に示すように、例えば、語句群５３ａが得られる。そして、商品ウェブページ分析サーバ１０のシステム制御部１４は、語句群５３ａから、ノイズを除去して、特徴語候補群５３ｂを抽出する。例えば、”［      ］”のように括弧や記号で括られた部分や、動詞句や、動詞句に係る語句等が、語句群５３ａから取り除かれ、特徴語候補群５３ｂが得られる。ここで、括弧や記号で括られた部分はノイズである場合が多く、また、動詞句や動詞句に係る語句は商品に関連する語句でないことが多い。なお、形態素解析として、一般的な形態素解析のプログラムを用いればよく、形態素解析する際、複合語を形成する過程があってもよい。また、他方の商品ウェブページについても、特徴語候補が抽出される。
【００５８】
このように商品ウェブページ分析サーバ１０のシステム制御部１４は、抽出したテキストデータを言語解析して、各商品ウェブページの特徴語候補を抽出する特徴語候補抽出手段の一例として機能する。また、商品ウェブページ分析サーバ１０のシステム制御部１４は、テキストデータを形態素解析によって言語解析して得られた形態素から、ノイズの形態素を除去するノイズ除去手段の一例として機能する。
【００５９】
次に、商品ウェブページ分析サーバ１０は、各特徴語候補によりウェブ検索を行う（ステップＳ４）。具体的には、まず、商品ウェブページ分析サーバ１０のシステム制御部１４は、検索サーバ３０が提供する検索ＡＰＩの機能を利用するために、各特徴語候補を検索キーワードとする各検索クエリを作成する。そして、商品ウェブページ分析サーバ１０のシステム制御部１４は、通信部１１を通して、検索サーバ３０に送信し、検索サーバ３０から特徴語候補毎の検索結果を受信する。図９に示すように、検索結果ページ６０の検索結果毎に、検索結果のタイトル部６１、スニペット部６２が含まれる。なお、使用する検索エンジンによって、タイトル部とスニペット部とに明確に分けられていない場合は、検索結果のテキストデータの一部をスニペットとする。このように、商品ウェブページ分析サーバ１０のシステム制御部１４は、特徴語候補を検索キーワードとする検索クエリを作成し、検索クエリに基づく検索結果を取得する検索結果取得手段の一例として機能する。
【００６０】
次に、商品ウェブページ分析サーバ１０は、ショッピングサイトの検索結果に絞る（ステップＳ５）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、検索結果のリンク先のＵＲＬ（Uniform Resource Locator）において、ショッピングサイトのドメイン名を含む検索結果に絞る。さらに具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、図１０のように、ドメイン名ＤＢ１２ｂを参照して、上位（例えば３０位）の検索結果のうち、ＨＴＭＬのタグ”<a href=・・・>”の情報やスニペット部６２のＵＲＬ６２ａの中にショッピングサイトのドメイン名を含む検索結果に絞る。
【００６１】
次に、商品ウェブページ分析サーバ１０は、カテゴリ関連語がスニペットに含まれる場合の特徴語候補を特徴語として決定する（ステップＳ６）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、ステップＳ５で絞られた検索結果のスニペットの中に、カテゴリ関連語が含まれる場合の特徴語候補を選択し、この特徴語候補を特徴語として決定する。さらに具体的には、図１１に示すように、商品ウェブページ分析サーバ１０のシステム制御部１４は、カテゴリが”ワイン”の場合、検索結果のスニペットに、カテゴリ関連語”ワイン”または”酒”が含まれる特徴語候補を選択し、特徴語候補を特徴語として決定する。そして、図８に示すように、例えば、語句群５３ｃが得られ、特徴語ＤＢ１２ｃに記憶される。
【００６２】
このように商品ウェブページ分析サーバ１０のシステム制御部１４は、カテゴリ関連語記憶手段の一例のカテゴリ関連語ＤＢ１２ａを参照して、検索結果のスニペット中にカテゴリ関連語が存在するか否かを判定する検索結果判定手段の一例として機能する。また、商品ウェブページ分析サーバ１０のシステム制御部１４は、スニペット中にカテゴリ関連語が存在する場合の特徴語候補を各商品ウェブページの特徴語に決定する特徴語決定手段の一例として機能する。また、商品ウェブページ分析サーバ１０のシステム制御部１４は、カテゴリ関連語記憶手段およびドメイン名記憶手段を参照して、検索結果において、ショッピングサイトのスニペット中にカテゴリ関連語が存在するか否かを判定する検索結果判定手段の一例として機能する。
【００６３】
次に、商品ウェブページ分析サーバ１０は、特徴語に基づき類似度を算出する（ステップＳ７）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、商品ウェブページ間の類似度を算出するサブルーチンにより、類似度を算出する。このように商品ウェブページ分析サーバ１０のシステム制御部１４は、特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出する類似度算出手段の一例として機能する。
【００６４】
次に、商品ウェブページ分析サーバ１０は、類似度に基づき商品ウェブページの類似性の判定を行う（ステップＳ８）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、類似度算出のサブルーチンにより算出した類似度が所定の値以上である場合、対象の商品ウェブページ同士は類似商品を扱う商品ウェブページであると判定する。なお、類似商品を扱う商品ウェブページであると判定された商品ウェブページのうち、さらに類似度が高い場合、同一の商品を扱う商品ウェブページであると判定してもよい。このように商品ウェブページ分析サーバ１０のシステム制御部１４は、類似度が所定の値以上である場合、第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定する類似商品判定手段の一例として機能する。
【００６５】
商品ウェブページの類似性の判定を利用して、同一の商品や類似の商品を扱う商品ウェブページを集め、ユーザ端末４５を通して、ユーザが閲覧できるように、商品ウェブページのデータベースを構築する。例えば、ウェブページに、ある商品に対するＧＵＩ（Graphical User Interface）のボタン等を設け、ユーザがクリックすることにより、同一の商品や類似の商品を扱う商品ウェブページの一覧が見られるようにする。
【００６６】
（３．２．特徴語に基づく類似度の算出）
次に、特徴語に基づく類似度の算出のサブルーチンについて、図１２を用いて説明する。
【００６７】
図１２に示すように、商品ウェブページ分析サーバ１０は、各特徴語のＩＤＦ値を算出する（ステップＳ１０）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、各特徴語に対して、下記の式（１）に示すようなＩＤＦ（Inverse Document Frequency（逆出現頻度））の値を、算出する。
ＩＤＦｗ＝ｌｏｇ（Ｎ／Ｎｗ）      ・・・（１）
【００６８】
ここで、ＩＤＦｗは特徴語ｗのＩＤＦ値であり、Ｎはあるショッピングサイトの全ウェブページ数であり、Ｎｗは前記ショッピングサイトにおいて特徴語ｗが出現するウェブページ数である。特徴語ｗのウェブページ数Ｎｗの値が小さいほどＩＤＦｗの値が大きくなり、特徴語ｗは商品を扱う商品ウェブページに特有な語句である可能性が高くなる。なお、ＩＤＦ値を算出するためのウェブページの範囲は、検索エンジンがクローリングしたページ数でもよいし、ある国のウェブページや、ある国の複数のショッピングサイトのウェブページや、対象としているカテゴリにおける上位のカテゴリのウェブページ等でもよい。
【００６９】
次に、商品ウェブページ分析サーバ１０は、ＩＤＦ値に基づく類似度を算出する（ステップＳ１１）。具体的には、商品ウェブページ分析サーバ１０のシステム制御部１４は、下記の式（２）に示すように、ステップＳ１０で算出したＩＤＦ値に基づき、第１の商品ウェブページと第２の商品ウェブページとの類似度Ｓ１２を算出する。
Ｓ１２＝［Σｃ∈Ｃ１２（ＩＤＦｃ）］／［Σｕ∈Ｕ１２（ＩＤＦｕ）］・・・（２）
【００７０】
ここで、集合Ｕ１２は、第１の商品ウェブページの特徴語と第２の商品ウェブページの特徴語とを合わせた集合である。すなわち、第１の商品ウェブページの特徴語の集合と、第２の商品ウェブページの特徴語の集合との和集合である。集合Ｃ１２は、第１の商品ウェブページと第２の商品ウェブページとの共通の特徴語の集合である。すなわち、第１の商品ウェブページの特徴語の集合と、第２の商品ウェブページの特徴語の集合との積集合である。また、式（２）の分母は、集合Ｕ１２の要素ｕである特徴語のＩＤＦ値の和であり、式（２）の分子は、集合Ｃ１２の要素ｃである共通の特徴語のＩＤＦ値の和である。式（２）に示すように、第１の商品ウェブページと第２の商品ウェブページとにおいて、共通の特徴語があればあるほど、類似度Ｓ１２が高くなり、また、その特徴語のＩＤＦ値が高いほど、類似度Ｓ１２が高くなる。
【００７１】
このように商品ウェブページ分析サーバ１０のシステム制御部１４は、第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の特徴語に基づき、類似度を算出する類似度算出手段の一例として機能する。また、商品ウェブページ分析サーバ１０のシステム制御部１４は、第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の特徴語の逆出現頻度に基づき類似度を算出する類似度算出手段の一例として機能する。
【００７２】
この式（２）の類似度に基づき、ステップＳ８において、商品ウェブページ分析サーバ１０が、商品ウェブページの類似性の判定を行う。
【００７３】
以上、本実施形態によれば、商品を分類するカテゴリに関連するカテゴリ関連語をカテゴリ関連語ＤＢ１２ａに記憶し、第１の商品ウェブページおよび第２の商品ウェブページを取得し、各商品ウェブページ５０内に記述されているテキスト部５１、５２、５３等のテキストデータを言語解析して各商品ウェブページの特徴語候補を抽出し、特徴語候補を検索キーワードとする検索クエリを作成して検索クエリに基づく検索結果ページ６０を取得し、検索結果ページのスニペット部６２のスニペット中にカテゴリ関連語が存在するか否かを判定し、スニペット中にカテゴリ関連語が存在する場合の特徴語候補を各商品ウェブページの特徴語に決定し、特徴語に基づき、第１の商品ウェブページと第２の商品ウェブページとの間の類似度を算出し、類似度が所定の値以上である場合、第１の商品ウェブページと第２の商品ウェブページとは類似商品を扱う商品ウェブページであると判定することにより、商品ウェブページの商品の類似性を求めて、例えば、同一商品の商品ウェブページをまとめ上げることができるため、ユーザの利便性の向上を図ることができる。
【００７４】
また、本実施形態によれば、特徴語候補を絞る際、ウェブ検索により求まるスニペットを使用することにより、インターネット上における語句の使用状況を反映でき、高精度の特徴語を抽出することができる。さらに、スニペットに限ることにより、高速に特徴語を求めることができる。さらにまた、ウェブ検索のスニペットを使用することにより、商品等のトレンドが変化してもトレンドに追随でき、適切な特徴語が求められ、商品ウェブページであるとの判定が適切にできる。
【００７５】
また、商品ウェブページ分析サーバ１０のシステム制御部１４が、第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の特徴語に基づき、類似度を算出する場合、共通の特徴語により的確に類似度を算出できる。
【００７６】
また、商品ウェブページ分析サーバ１０のシステム制御部１４が、第１の商品ウェブページおよび第２の商品ウェブページにおいて共通の特徴語の逆出現頻度に基づき類似度を算出する場合、特徴語の逆出現頻度により、特徴語のランク付けができるため、類似性の判断がしやすくなる。
【００７７】
また、商品ウェブページ分析サーバ１０のシステム制御部１４が、カテゴリ関連語ＤＢ（カテゴリ関連語記憶手段）１２ａを参照して、検索結果において、ショッピングサイトのスニペット中にカテゴリ関連語が存在するか否かを判定する場合、商品を販売するために商品の説明がなされている商品ウェブページを多く有するショッピングサイトに絞るため、商品を適切に特徴付ける特徴語を抽出でき、特徴語の精度が高くなる。
【００７８】
また、商品ウェブページ分析サーバ１０のシステム制御部１４が、テキストデータを形態素解析して得られた形態素から、ノイズの形態素を除去する場合、的確な特徴語候補を抽出できるため、特徴語の精度が高くなる。
【００７９】
なお、検索サーバ３０は、サーバシステム５外である他の検索サイトの検索サーバでもよい。この場合、商品ウェブページ分析サーバ１０は、ネットワーク３を通して、検索クエリを送信し、検索結果を受信する。また、スニペットを求める際のウェブ検索する範囲は、ショッピングサーバ２０内のウェブページに限ったり、ある国や地域のウェブページに限ったりしてもよい。
【００８０】
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
【符号の説明】
【００８１】
３：ネットワーク
５：サーバシステム
１０：商品ウェブページ分析サーバ（商品ウェブページ分析装置）
１２ａ：カテゴリ関連語ＤＢ（カテゴリ関連語記憶手段）
１２ｂ：ドメイン名ＤＢ
２０：ショッピングサーバ
３０：検索サーバ
【図１】
2013101415.tif 000003
【図２】
2013101415.tif 000004
【図３】
2013101415.tif 000005
【図４】
2013101415.tif 000006
【図５】
2013101415.tif 000007
【図６】
2013101415.tif 000008
【図７】
2013101415.tif 000009
【図８】
2013101415.tif 000010
【図９】
2013101415.tif 000011
【図１０】
2013101415.tif 000012
【図１１】
2013101415.tif 000013
【図１２】
2013101415.tif 000014