(57)【要約】   【課題】  ウェブページおよびウェブページの集合体であるウェブサイトの適切性、すなわち、ウェブページやウェブサイトにて表したい事項がウェブページに適切に表されているかを知ることができる。  【解決手段】  ウェブページ或いは当該ウェブページの集合体であるウェブサイトの構造を解析する構造解析システム１０は、ウェブページを記憶したウェブページＤＢ１２からウェブページを取得するページ取得部１４と、取得されたウェブページの構造を解析し、少なくともウェブページの処理の位置或いは所定の役割をもつ文字列および当該文字列を構成する単語を特定するページ解析部１６と、文字列のそれぞれについて、文字列を構成する単語の出現数を計数し、計数結果を記憶するとともに、これを提示する単語数計数／比較部１８とを備えている。【選択図】  図１
2005135139.tif 000002
【特許請求の範囲】
【請求項１】
ウェブページ或いは当該ウェブページの集合体であるウェブサイトの構造を解析する構造解析システムであって、
前記ウェブページを記憶したウェブページデータベースからウェブページを取得するページ取得手段と、
ページ取得手段により取得されたウェブページの構造を解析し、少なくともウェブページの処理の位置或いは所定の役割をもつ文字列および当該文字列を構成する単語を特定するページ構造解析手段と、
前記文字列のそれぞれについて、文字列を構成する単語の出現数を計数し、計数結果を記憶するとともに、これを提示する計数手段とを備えたことを特徴とする構造解析システム。
【請求項２】
前記ページ構造解析手段が、前記ウェブページの属性ごとの類義語リストを参照して、類義語を特定の単一の単語に統一するように構成されたことを特徴とする請求項１に記載の構造解析システム。
【請求項３】
前記ページ構造解析手段が、ページタイトル、リンクのアンカーテキスト、および／または、強調タグ中の文字列および当該文字列を構成する単語を特定することを特徴とする請求項１または２に記載の構造解析システム。
【請求項４】
前記計数手段が、各単語の出現数および出現比率を算出することを特徴とする請求項１ないし３の何れか一項に記載の構造解析システム。
【請求項５】
さらに、前記文字列中において所定の単語を特定し、当該単語に関する順位相関を表わす値を算出する順位相関算出手段を備えたことを特徴とする請求項１ないし４の何れか一項に記載の構造解析システム。
【請求項６】
前記順位相関算出システムが、さらに、前記計数手段による当該単語の計数結果および前記順位相関を表わす値を統合した他の指標を算出することを特徴とする請求項５に記載の構造解析システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェブページやウェブサイトの構造を解析するシステムに関する。
【背景技術】
【０００２】
インターネットの普及により著しく多数のサイトが存在するため、ユーザは、所望のサイトにアクセスするために検索エンジンを備えたサイト（検索サイト）を利用する場合が多い。基本的には、ユーザが所望の情報に関連するキーワードを入力すると、検索サイトの検索エンジンが、当該キーワードに関連性の高いサイトのページのＵＲＬをユーザに提示できるようになっている。
この検索エンジンにおいては、サイトを構成するページの重要度を判断して、ユーザに提示するページの順序が決定されているといわれている（非特許文献１）。
【非特許文献１】馬場  肇、“Googleの秘密−PageRank徹底解説”、［online］、平成１３年２月１日、平成１５年７月９日検索、<URL:http://www.kusastro.kyoto-u.as.jp/~baba/wais/pagerank.html>
【発明の開示】
【発明が解決しようとする課題】
【０００３】
サイトの運営者にとっては、より多くのユーザがサイト中のページを閲覧する状況が望ましい。このため、検索サイトの検索結果において、自己のサイトのページが上位に位置することが重要となる。このために、運営者は、自己のサイトのページが、検索結果において上位に位置するようなページ構成や用語の選択をなす必要がある。
【０００４】
さらに、サイトの運営者にとっては、サイトを構成するウェブページ中の単語の用法が、サイトを適切に表しているかを知ることができればなお望ましい。たとえば、ページタイトルが、実際のページの内容に即していれば、そのページが伝えたいことがより明確化することができる。
【０００５】
しかしながら、従来、ウェブページの重要度を算出することはできたが、ウェブページの適切性を評価することができなかった。
本発明は、ウェブページおよびウェブページの集合体であるウェブサイトの適切性、すなわち、ウェブページやウェブサイトにて表したい事項がウェブページに適切に表されているかを知ることができる構造解析システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的は、ウェブページ或いは当該ウェブページの集合体であるウェブサイトの構造を解析する構造解析システムであって、前記ウェブページを記憶したウェブページデータベースからウェブページを取得するページ取得手段と、ページ取得手段により取得されたウェブページの構造を解析し、少なくともウェブページの処理の位置或いは所定の役割をもつ文字列および当該文字列を構成する単語を特定するページ構造解析手段と、前記文字列のそれぞれについて、文字列を構成する単語の出現数を計数し、計数結果を記憶するとともに、これを提示する計数手段とを備えたことを特徴とする構造解析システムにより達成される。
【０００７】
なお、各ウェブページの計数手段による計数結果を統合することにより、ウェブページの集合体であるウェブサイトの構造を知ることができる。
【０００８】
好ましい実施態様においては、前記ページ構造解析手段が、前記ウェブページの属性ごとの類義語リストを参照して、類義語を特定の単一の単語に統一するように構成されている。
また、好ましい実施態様においては、前記ページ構造解析手段が、ページタイトル、リンクのアンカーテキスト、および／または、強調タグ中の文字列および当該文字列を構成する単語を特定する。前記計数手段は、たとえば、各単語の出現数および出現比率を算出する。
【０００９】
別の好ましい実施態様においては、さらに、前記文字列中において所定の単語を特定し、当該単語に関する順位相関を表わす値を算出する順位相関算出手段を備えている。順位相関算出システムは、さらに、前記計数手段による当該単語の計数結果および前記順位相関を表わす値を統合した他の指標を算出するように構成しても良い。
【発明の効果】
【００１０】
本発明によれば、ウェブページおよびウェブページの集合体であるウェブサイトの適切性、すなわち、ウェブページやウェブサイトにて表したい事項がウェブページに適切に表されているかを知ることができる構造解析システムを提供することが可能である。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる構造解析システムの概略を示すブロックダイヤグラムである。図１に示すように、この構造解析システム１０は、ウェブページを蓄積したウェブページＤＢ１２と、ウェブページＤＢ１２中のウェブページを取得するページ取得部１４と、取得したウェブページを解析するページ解析部１６と、解析結果に基づいて所定の単語の計数など、構造の評価に必要な処理を実行する単語数計数／比較部１８と、単語数計数／比較部１８の比較結果などを記憶する結果記憶部２０とを備えている。
【００１２】
本実施の形態においては、ウェブページごとに、ページを解析し、解析結果に基づく構造の評価を行っているが、これに限定されることはなく、複数のウェブページからなるウェブサイトについても、それぞれのウェブページの評価を算出して、その評価結果から当該サイトの評価を取得することもできる。
【００１３】
本実施の形態にかかる構造解析システムは、パーソナルコンピュータに、必要なプログラムをインストールし、当該プログラムを起動してパーソナルコンピュータを動作させることにより実現できる。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどに記憶されていてもよいし、ネットワークを介してパーソナルコンピュータにダウンロードされても良い。
【００１４】
図２は、本実施の形態にかかる構造評価システムにて実行される処理の概略を示すフローチャートである。図２に示すように、構造評価システム１０においては、まず、ページ取得部１４が、ウェブページＤＢ１２から所定のウェブページを取得する（ステップ２０１）。次いで、ページ解析部１６が、取得されたウェブページ中、不要なタグ（たとえば、ＡＬＴ、＜．Ａ＞など）を除去した上で、ページ構造を解析する（ステップ２０２）。ページ構造の解析においては、ページタイトル、リンクのアンカーテキスト、強調タグなどに相当する文字列が特定される。
【００１５】
次いで、それぞれの文字列について形態素解析が施される（ステップ２０３）。形態素解析においては、文字列が品詞ごとに分解される。その後、ページ解析部１６はステミング処理を実行し、不要な品詞の除去や、語幹となる検索語への統一などが行われる（ステップ２０４）。たとえば、あるテーマ（ウェブページの属性などにしたがったテーマ）ごとに、類義語リストが設けられ、類義語が、代表する単一の単語に統一される処理が実行されても良い。このような処理の後、単語数計数／比較部１８による計数／比較処理が実行される（ステップ２０５）。
【００１６】
本実施の形態において、計数／比較処理においては、主として２つの処理が実行される。
第1の処理では、ページ構造中、所定の位置或いは所定の役割を持つ文字列中の単語を計数する。この計数値は第１の指標値として利用される。また、第２の処理では、前記所定の位置や役割を持つ単語の周辺の単語をそれぞれ調べ、当該単語を含む他の文字列中の単語との間の順位相関をとって、順位相関に基づく第２の指標値を算出する。
【００１７】
本実施の形態においては、ウェブページ中、ページタイトル、リンクのアンカーテキストおよび強調タグ内の単語が、第１の処理にて計数される。たとえば、ページタイトル、リンクのアンカーテキスト、強調タグ内のそれぞれの単語の出現数の総和や、全単語中の当該単語の出現割合などが算出され、これらが結果記憶部２０に記憶される。
【００１８】
また、ページタイトル、リンクのアンカーテキストおよび強調タグ内の所定の単語の周辺の単語について順位相関をとることで第２の処理を実現している。以下、第２の処理についてより詳細に説明する。
【００１９】
図３は、ウェブページの例を示す図である。このページ３００のタイトルは「通信販売美容−くすみについて／イサイズキレイ」である（符号３０１参照）。単語数計数／比較部１８は、この中で、「通信販売」および「美容」という単語に着目する。これは、第1の処理における所定の位置や役割を持つ部分の、単語の計数結果の上位から選択しても良い。
【００２０】
次いで、「通信販売」という単語、或いは、「美容」という単語を有する他の文字列が選択される。たとえば、「美容」という単語を含む文字列は、符号３０２〜３０５に示すものとなる。これらの文字列について、単語数計数／比較部１８は、着目した単語の前後４つずつの単語を取得する。無論、文字列が短い場合には、４つ以下の単語（或いは０個の単語）が特定される場合がある。また、本実施の形態においては、前後４つの単語を特定したがこの数は限定されるものではない。
【００２１】
図４に、それぞれの文字列について、単語「美容」の前後４つの単語を特定した例を示す。たとえば、図４（ｂ）に示すように、文字列３０２については、「美容」という単語が２箇所出てくるため、それぞれについて前後の単語が特定されている。図４において、単語（形態素）の上（或いは下）に配置された数値が、特定の単語である「美容」からの距離、すなわち、順位を表わす。また、図５（ａ）〜（ｄ）も、それぞれの文字列について単語「通信販売」の前後４つの単語を特定した例を示す。
【００２２】
単語数計数／比較部１８は、図４（ａ）に示すページタイトルにおける「美容」からの各単語の順位と、その他の文字列（図４（ｂ）〜（ｅ）参照）における「美容」からの各単語の順位とを参照して、順位相関を表わす値を算出する。また、図５（ａ）に示す「通信販売」についても同様に順位相関を表わす値を算出する。順位相関とは、二組の順位の間にどのような関係があるかを調べる手法であり、スピアマンの順位相関係数、ケンドールの順位相関係数、グッドマン・クラスカルのガンマ（γ）などが知られている。
【００２３】
図６は、ページタイトル中の「美容」および他の文字列中の「美容」について順位を調べた結果を示す図である。たとえば、図４（ｂ）の符号３０２の文字列中、「Ａ」で示す「美容」を含む文字列については、「くすみ」、「ついて」および「通信販売」にそれぞれ、「３」、「２」および「１」の順位が付けられ、「なら」、「通信販売」、「美容」および「コーナー」に、それぞれ、「−１」、「−２」、「−３」および「−４」の順位が付けられている。他の文字列についても同様である。図５において、「Ｂ」に示す列が、符号３０２の文字列中、「Ｂ」で示す「美容」を含む文字列に関する。また、「Ｃ」〜「Ｄ」に示す列は、それぞれ、符号３０３〜３０５の「Ｃ」〜「Ｅ」に示す「美容」を含む文字列に関する。
【００２４】
単語数計数／比較部１８は、上述したような順位に基づいて、ページタイトル中の各単語と、それぞれの文字列（ここでは、文字列「Ａ」〜「Ｅ」と称する。）との順位相関を求める。
【００２５】
本実施の形態においては、順位相関を表わす値として、グッドマン・クラスカルのガンマ（γ）を利用している。これは、対応する二つの変量
ｘ：ｘ１，ｘ２，・・・，ｘＮ
ｙ：ｙ１，ｙ２，・・・，ｙＮ
の間で、
Ｐ＝（ｘｉ，ｙｉ）と（ｘｊ、ｙｊ）との間でｘとｙとの順序が同じ向きのデータ数
Ｑ＝（ｘｉ，ｙｉ）と（ｘｊ、ｙｊ）との間でｘとｙとの順序が逆の向きのデータ数
を考え、相関を示す値γを、
γ＝（Ｐ−Ｑ）／（Ｐ＋Ｑ）
で定義している。このγは、−１≦γ≦１の間を動き、γ＝１のとき最も相関が強くなる。
【００２６】
図５の例において、ページタイトル中の単語「通信販売」を考えると、ページタイトルおよび他の文字列「Ａ」〜「Ｅ」において、同じ向きに、ページタイトル中の単語も含め全部で６個の単語「通信販売」が出現している（図５の文字列「Ａ」〜「Ｃ」および「Ｅ」参照）。また、単語「くすみ」について考えると、他の文字列において、同じ向きには単語「くすみ」が出現していない。同様に、単語「イサイズ」および「キレイ」を考えると、ページタイトルおよび他の文字列において、それぞれ２個ずつ、単語「イサイズ」および「キレイ」が出現している。よって、Ｐは、「６＋２＋２＝１０」となる。
【００２７】
その一方、単語「くすみ」については、他の文字列において、逆の向きに単語「くすみ」が２個出現している（文字列「Ａ」および「Ｃ」参照）。よって、Ｑは「２」となる。
したがって、
【００２８】
図６の例では、上記順位相関を表わす値γは、
γ＝（１０−２）／（１０＋２）＝８／１２＝２／３
となる。
【００２９】
図７は、ページタイトル中の「通信販売」および他の文字列中の「通信販売」について順位を調べた結果を示す図である。ここでも、図６の例と同様に、順位相関を表わす値γを算出することができる。図６の例において、ページタイトル中の単語「美容」を考えると、ページタイトルおよび他の文字列「Ａ」〜「Ｄ」において、同じ向きに、全部で６個の単語「
美容」が出現している（文字列「Ａ」〜「Ｄ」参照）。同様に、単語「イサイズ」が２個出現している（文字列「Ｂ」参照）。よって、Ｐは、「６＋２＝８」となる。
【００３０】
その一方、単語「美容」は、逆の向きに１個出現し（文字列「Ｂ」参照）、単語「くすみ」は逆の向きに２個出現している（文字列「Ａ」および「Ｃ」参照）。よってＱは、「１＋２＝３」となる。
したがって、図７の例では、上記順位相関を表わす値γは、
γ＝（８−３）／（８＋３）＝５／１１となる。
【００３１】
上記例においては、単語「通信販売」と「美容」とでは、順位相関を表わす値γについて「美容」の方が大きいため、「美容」の方が単語としての重要度が大きいことがわかる。
単語数計数／比較部１８は、ページタイトルのほか、リンクのアンカーテキストおよび強調タグ内の単語についても、同様に、順位相関を表わす値γを算出する。これにより、ページタイトル、リンクのアンカーテキストおよび強調タグ内のそれぞれについて、単語の重要度を示す指標（γ）を得ることができる。第１の処理および第２の処理の結果は、結果記憶部２０に記憶される。
【００３２】
ウェブサイト全体あるいはその一部について処理を施す場合には、ページごとに上述した処理を実行して、これを繰り返せば良い。
【００３３】
図８は、単語数計数／比較部１８による計数／比較処理の結果を示す図である。これは、結果記憶部２０に記憶された処理結果を、単語数計数／比較部１８が読み出して、図表化したものである。このような図表化された結果は、表示装置の画面上に表示されても良いし、印刷物として出力されても良い。
【００３４】
図８（ａ）においては、ページのＵＲＬ、応答コード、サーバ名など、ページ属性を表す項目の値のほか、構成単語数、総単語数、抽出されたキーワードなどが示されている。また、図８（ｂ）においては、左側および中央の欄に第１の処理の結果、出現数が上位であった単語が示されている。この例では、単語「通信販売」の出現数が最大（出現数＝１２）であり、単語「美容」がこれに次いでいる（出現数＝７）であることがわかる。つまり、単語数の面からは、このウェブページは、「通信販売」を主として表しているものであると考えることができる。その一方、図７（ｂ）の右側の欄に、順位相関を表す値γが示されている。このγを参照すると、単語「通信販売」のγ＝５／１１であり、その一方、単語「美容」のγ＝２／３である。「５／１１＜２／３」であるため、順位相関の観点からは、単語「美容」の法が、単語「通信販売」より重要度が高いことが示される。
【００３５】
図８の例では、単一のウェブページについての結果が示されているが、ウェブサイトに関しては、ウェブページのそれぞれの結果、および、ウェブページの結果を統合した結果を表示することが可能である。この統合した結果において、ウェブページ全体の単語の総数、全体における出現数、出現割合、順位相関の総和、平均などを表示することができる。
【００３６】
このように、本実施の形態によれば、単語の出現数という観点および順位相関という観点の双方から、ウェブページが何を主として表しているか、或いは、ウェブページにおいて重要な単語が何であるかを知ることができる。
【００３７】
さらに、本実施の形態においては、第１の処理の結果および第２の処理の結果を統合した指標を出しても良い。たとえば、ある単語についての統合した指標として、
（当該単語の出現比率）×ｆ１＋（当該単語の順位相関を表わす値）×ｆ２
ｆ１、ｆ２は適当な関数或いは定数
を利用しても良い。
【００３８】
このように、第１の処理結果に基づく指標（単語の出現数や出現比率）と、第２の処理結果に基づく指標（単語の順位相関を表わす値）とを参照することにより、ウェブページやウェブサイトの作成者は、当該ページが何に関しているのかを知ることができる。つまり、作成者がウェブページやウェブサイトにて表わしたいと思っている事項が、実際のページに適切に現れているかを知ることができる。たとえば、作成者が「通信販売」のウェブページを作成したと考えていた場合に、第１の処理結果に基づく指標や第２の処理結果に基づく指標の値が小さければ、作成されたウェブページは適切さを欠いていると考えることができる。特に、第２の処理結果に基づく指標は、ウェブページ上で顕在化しているものではないため、本実施の形態における処理によって、作成者は隠されたウェブページの重要な単語を知ることができる。
【００３９】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
たとえば、前記実施の形態においては、グッドマン・クラスカルのガンマ（γ）を利用しているが、他の順位相関を表わす値が利用されても良いことはいうまでもない。
【図面の簡単な説明】
【００４０】
【図１】図１は、本発明の実施の形態にかかる構造解析システムの概略を示すブロックダイヤグラムである。
【図２】図２は、本実施の形態にかかる構造評価システムにて実行される処理の概略を示すフローチャートである。
【図３】図３は、ウェブページの例を示す図である。
【図４】図４は、ウェブページ中の文字列について前後４つの単語を特定した例を示す。
【図５】図５は、図３のウェブページの例において、ページタイトル中の「美容」および他の文字列中の「美容」について順位を調べた結果を示す図である。
【図６】図６は、図３のウェブページの例において、ページタイトル中の「通信販売」および他の文字列中の「通信販売」について順位を調べた結果を示す図である。
【図７】図７、図３のウェブページの例において、ページタイトル中の「通信販売」および他の文字列中の「通信販売」について順位を調べた結果を示す図である。
【図８】図８は、本実施の形態における処理結果の提示例を示す図である。
【符号の説明】
【００４１】
１０      構造解析システム
１２      ウェブページＤＢ
１４      ページ取得部
１６      ページ解析部
１８      単語数計数／比較部
２０      結果記憶部
【図１】
2005135139.tif 000003
【図２】
2005135139.tif 000004
【図３】
2005135139.tif 000005
【図４】
2005135139.tif 000006
【図５】
2005135139.tif 000007
【図６】
2005135139.tif 000008
【図７】
2005135139.tif 000009
【図８】
2005135139.tif 000010