(57)【要約】【課題】文章に出現する単語の中で、重要単語と非重要単語等を明確に区分けできる情報処理装置を提供すること。【解決手段】本発明に係る情報処理装置は、文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶し、記憶されたユーザ毎の情報相関に基づいて、全ユーザにおける情報間の類似度を算出し、算出された類似度に基づいて、情報をグループ化した情報クラスタを生成し、情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで単語の単語一般度を算出し、情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の単語一般度の逆数による重みづけを行うことで、当該情報に対する単語の単語重要度を算出する、ことを特徴とする。【選択図】図２
2018116662.tif 000002
【特許請求の範囲】
【請求項１】
文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶手段と、
記憶されたユーザ毎の前記情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出手段と、
前記算出された類似度に基づいて、前記情報をグループ化した情報クラスタを生成するクラスタリング手段と、
前記情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで前記単語の単語一般度を算出する単語一般度算出手段と、
前記情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の前記単語一般度の逆数による重みづけを行うことで、当該情報に対する前記単語の単語重要度を算出する単語重要度算出手段と、
を備える、
ことを特徴とする情報処理装置。
【請求項２】
前記ユーザ情報相関記憶手段は、ユーザが前記情報を閲覧した場合、もしくは前記情報が説明である商品を購入した場合に、前記ユーザに対する該情報の相互関係を、前記情報に対する閲覧回数、もしくは前記商品の購入回数としてカウントアップする、
ことを特徴とする情報処理装置。
【請求項３】
前記クラスタリング手段は、前記類似度が所定の閾値よりも大きい情報同士が同グループに属するようグループ化する、
ことを特徴とする請求項１、又は２に記載の情報処理装置。
【請求項４】
文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶ステップと、
記憶されたユーザ毎の前記情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出ステップと、
前記算出された類似度に基づいて、前記情報をグループ化した情報クラスタを生成するクラスタリングステップと、
前記情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで前記単語の単語一般度を算出する単語一般度算出ステップと、
前記情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の前記単語一般度の逆数による重みづけを行うことで、当該情報に対する前記単語の単語重要度を算出する単語重要度算出ステップと、
を有する、
ことを特徴とする情報処理方法。
【請求項５】
文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶処理と、
記憶されたユーザ毎の前記情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出処理と、
前記算出された類似度に基づいて、前記情報をグループ化した情報クラスタを生成するクラスタリング処理と、
前記情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで前記単語の単語一般度を算出する単語一般度算出処理と、
前記情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の前記単語一般度の逆数による重みづけを行うことで、当該情報に対する前記単語の単語重要度を算出する単語重要度算出処理と、
をコンピュータに実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
文章に出現する単語の重要度を示す単語重要度を算出する技術は、情報の推薦処理を行うシステムで幅広く利用されている。従来、特許文献１に公開されているように、単語重要度は、該単語の文章に対する出現頻度（ＴＦ）（Term Frequency）に対して、複数の文章群の中で該単語がどのくらいの文章に出現しているかを示す値（ＤＦ）（Document Frequency：単語一般度）の逆数を重み付けることで算出される。所定の文章に出現する出現頻度であるＴＦに、ＤＦの逆数のLOGを取ったＩＤＦ（Inverse Document Frequency）を重み付けることで、その文章での出現頻度が高く、逆に、他の多くの文章には出現しない単語の単語重要度が大きな値となり、必然的に該単語が重量単語として扱われることになる。
【０００３】
しかし、上記のＴＦ、ＩＤＦに基づく単語重要度の算出では、所定の文章に対する出現頻度、および出現する文章の数の２軸のみで特徴の強弱を捉えているため、所定の文章に対する出現頻度が高い単語、もしくは多くの文章に出現しない単語の単語重要度が高くなってしまう傾向がある。このため、単語重要度が高い語として、その文章の分野の重要語だけでなく、多くの分野に跨って珍しい非重要語を重要度として誤判定してしまう。例えば、「画竜点睛」といった特にその文章の重要語ではない多くの分野で使われる珍しい言い回しや、「シミレーション」といった一定割合で起こる誤った表記(正しくは「シミュレーション」)を重要語と誤判定してしまう。また、ＤＦ値を、特定の分野で頻出する単語か、特に分野に偏りなく単語なのかの区別がないため、一般語に近い重要語を抽出できない。例えば、文章のジャンルが「サッカー」であれば、「オフサイド」は、他のジャンルでの出現頻度(ＤＦ)が極端に小さく誤判定しづらいが、スポーツ関連ジャンルに偏る「日本代表」「監督」「スタジアム」「引退試合」と、多くのジャンルに万遍なく頻出する「明日」「契約」「状況」「報告」などの一般語と出現頻度(ＤＦもＴＦも)の差異が小さく区別が難しい。
【０００４】
単語重要度を基に、推薦処理を行うシステムの流れは、文章に出現する単語の単語重要度ベクトルを求め、そのベクトル間の類似性が高い情報をユーザに提示するというものである。ユーザとしては、より自分が興味を示す情報が提示されることが好ましい。例えば「サッカー」関連の文章をたくさん閲覧しているユーザであれば、より「サッカー」に関する情報が、「料理」関連の文章をたくさん閲覧しているユーザであれば、より「料理」に関する情報が提示されることになる。
【０００５】
しかし、従来のＴＦ、ＩＤＦに基づく単語重要度の算出では、「画竜点睛」「シミレーション」のような単語を特徴語と誤判定したり、「日本代表」「監督」「スタジアム」「引退試合」などの特徴語と、「明日」「契約」「状況」「報告」などの一般語を区別できないため、推薦処理を誤ってしまう。特に文章に十分な単語量がない場合に顕著である。
【０００６】
文章に出現する単語の出現頻度に基づいて単語重要度を算出する従来の方法では、上記のように、単純に出現頻度が低い単語が重要単語として捉えられてしまうため、珍しい非重要語と専門単語等を明確に区分けすることができない。例えばスポーツのような特定の広い分野に偏った単語と一般語を区別できないという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２９１０５
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、このような実情に鑑みてなされたものであって、文章に出現する単語の中で、重要単語と非重要単語等を明確に区分けできる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る情報処理装置は、文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶手段と、記憶されたユーザ毎の情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出手段と、算出された類似度に基づいて、情報をグループ化した情報クラスタを生成するクラスタリング手段と、情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで単語の単語一般度を算出する単語一般度算出手段と、情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の単語一般度の逆数による重みづけを行うことで、当該情報に対する単語の単語重要度を算出する単語重要度算出手段と、を備える、ことを特徴とする。
【００１０】
本発明に係る情報処理方法は、文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶ステップと、記憶されたユーザ毎の情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出ステップと、算出された類似度に基づいて、情報をグループ化した情報クラスタを生成するクラスタリングステップと、情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで単語の単語一般度を算出する単語一般度算出ステップと、情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の単語一般度の逆数による重みづけを行うことで、当該情報に対する単語の単語重要度を算出する単語重要度算出ステップと、を有する、ことを特徴とする。
【００１１】
本発明に係る情報処理を実現させるためのプログラムは、文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ユーザごとの情報相関を記憶するユーザ情報相関記憶処理と、記憶されたユーザ毎の情報相関に基づいて、全ユーザにおける情報間の類似度を算出する情報類似度算出処理と、算出された類似度に基づいて、情報をグループ化した情報クラスタを生成するクラスタリング処理と、情報に出現する単語について、クラスタごとの出現頻度に、当該情報が属すクラスタと、他の情報クラスタと、の距離を重み付けることで単語の単語一般度を算出する単語一般度算出処理と、情報に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の単語一般度の逆数による重みづけを行うことで、当該情報に対する単語の単語重要度を算出する単語重要度算出処理と、をコンピュータに実行させる、ことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、文章に出現する単語の中で重要単語と非重要単語と、を明確に区分けできる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態にかかる情報処理装置１のハードウェア構成図である。
【図２】本発明の実施形態にかかる情報処理装置１の機能ブロック図である。
【図３】本発明の実施形態にかかる文章−ユーザ相関の一例である。
【図４】本発明の実施形態にかかる文章間の類似度である。
【図５】本発明の実施形態にかかる文章をクラスタリングしたイメージの一例である。
【図６】本発明の実施形態にかかる文章クラスタの重心を算出する一例である。
【図７】本発明の実施形態にかかる文章クラスタ間の距離である。
【図８】本発明の実施形態にかかる単語−文章クラスタに基づくデータベースの一例である。
【図９】本発明の実施形態にかかる特定クラスタに属する特定文章の単語解析結果の一例である。
【図１０】本発明の実施形態にかかる単語重要度と従来の単語重要度の算出結果の一例である。
【図１１】本発明の実施形態にかかるフローチャートの一例である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について詳細に説明する。
【００１５】
まず、本実施形態の情報処理装置１のハードウェア構成について図１を用いて説明する。ここでの情報処理装置とは、ホストコンピュータやサーバ、パーソナルコンピュータ、タブレット端末、スマートフォンなどを指す。
【００１６】
情報処理装置１は、所定のプログラムを実行することにより、情報処理装置１の全体の制御を実現するためのＣＰＵ１０と、情報処理装置１の電源が投入されたときにＣＰＵ１０が読出すプログラムを記憶する読出専用の不揮発メモリであるマスクＲＯＭ、ＥＰＲＯＭ、またはＳＳＤなどと、ＣＰＵ１０がプログラムを読み出し、演算処理等により生成したデータを一時的に書き込む作業用の揮発メモリであるＳＲＡＭやＤＲＡＭなどから構成されるメモリ１１、情報処理装置１の電源が切断されたときに種々のデータの記録を保持することが可能なＨＤＤ１２と、を備えている。また、図示していないが、ネットワークと接続し、種々の情報を取得が可能な通信Ｉ／Ｆなどを備えていてもよい。
【００１７】
図２は、本発明の実施形態にかかる情報処理装置１の機能ブロック図である。図２に示すように、本発明にかかる情報処理装置１は、ユーザ情報相関記憶手段１００と、情報類似度算出手段１０１と、クラスタリング手段１０２と、単語一般度算出手段１０３と、単語重要度算出手段１０４と、を備えている。
【００１８】
情報処理装置１のユーザ情報相関記憶手段１００は、文章を含む情報と、当該情報を閲覧したり、当該情報が説明である商品を購入するユーザと、を関連付けて、ＨＤＤ１２に記憶する。ここで「文章」とは、ユーザが保有する通信端末からアクセスして取得した文章の発信元であるＵＲＬ、もしくは文章そのもの、その取得した文章の閲覧履歴、もしくはその閲覧した文章に表示されているリンク先からの商品購入履歴などである。情報処理装置１は、これらの文章を取得すると同時に、ユーザごとの通信端末のＩＤとしての識別子（以下ユーザ識別子と表記）を識別情報として取得し、ユーザと文章を関連付けて記憶する。文章、およびユーザの識別情報は、情報処理装置が別途備える通信ＩＦ（図示なし）などからネットワークを介して取得してもよい。
【００１９】
取得した文章の情報、および通信端末のユーザ識別子と、を関連付けてＨＤＤ１２に記憶する。図３は通信端末から取得したユーザ識別子と文章との相関を示す図である。本実施形態でのユーザと文章との相関は、文章に対するユーザの閲覧状況に基づいて規定するものとする。例えば、「ユーザＡ」であれば、「文章Ａ」に対して「１」という数字が対応付けられているが、この「１」は、ユーザＡが文章Ａを少なくとも１回以上閲覧したことがあることを示す値である。一方、「文章Ｂ」に対しては「０」という数字が対応付けられており、この「０」は、ユーザＡが文章Ｂを一回も閲覧したことがないことを示している。
【００２０】
ユーザと文章との相関は、上記のように取得した文章を閲覧したか閲覧していないかの２値に限定されず、単純にユーザが文章を閲覧した閲覧回数で表してもよい。更に、取得した文章に表示されているリンク先からの商品購入履歴に基づいて規定してもよい。「ユーザＡ」が「文章Ａ」に表示されているリンク先から少なくとも１回以上商品を購入したことがあるとすれば、「ユーザＡ」と「文章Ａ」に、図３と同様に、「１」が関連付けられることになる。単純に文章を閲覧したか閲覧していないかでユーザと文章の相関を表記するのではなく、文章に関連した商品の購入履歴で表記することでユーザがその文章に対してより興味を持っていると捉えることができる。
【００２１】
情報処理装置１のユーザ情報相関記憶手段１００は、ＣＰＵ１０が、メモリ１１に記憶されている情報取得プログラムに基づいて文章を含む情報を取得し、ユーザと文章の情報とを関連付けてＨＤＤ１２に記憶する処理を実行することで実現が可能である。
【００２２】
情報処理装置１の情報類似度算出手段１０１は、記憶されたユーザ毎の前記情報相関に基づいて、全ユーザにおける情報間の類似度を算出する。ここでの「情報」は、上述した文章、および文章に表示されているリンク先に表示される商品などを指す。図３のユーザ識別子と文章との相関に基づいて文章間の類似度を算出する。類似度を算出する際に用いる概念として協調フィルタリングの考え方がある。協調フィルタリングとは、レコメンド技術の分野で広く用いられている手法であり、その実施形態は、ある特定のユーザに推薦する商品を選定する際に、複数のユーザの商品購買履歴と特定のユーザの商品購買履歴から、特定のユーザと購買履歴が類似するユーザを特定し、類似するユーザが購入した商品を特定のユーザに推薦するというものである。
【００２３】
この協調フィルタリングの考え方に基づいて、ユーザ間の類似度を求めるだけでなく、推薦対象である商品（本実施形態では文章）間の類似度を算出することも可能である。レコメンド技術の分野で広く用いられているユーザ−ユーザ間の類似性は、ユーザ同士がどのような相関を有しているか、つまり相関係数を求めることで判断される。相関係数の算出方法は公知であり、ピアソン相関係数などを用いることが一般的であるが、これに限定されない。
【００２４】
特定のユーザの購買履歴と、複数のユーザの商品購買履歴に基づいて、ユーザ間の類似度を算出できるのと同様に、商品間の類似性も算出が可能である。考え方としては、比較対象がユーザから商品に変更されることで、特定の商品がどのようなユーザに購入されているかのユーザ履歴を参照する。その他の商品においても同様に商品ごとにどのようなユーザに購入されているかのユーザ履歴を参照する。このように商品ごとに自商品のユーザ履歴と、その他の商品のユーザ履歴と、の相関係数に基づいて商品間の類似性を判断することが可能となる。言い換えると、二つの情報Ａ、Ｂがあり、多くのユーザがＡＢ両方の情報を閲覧する場合は、ＡＢ間の相関が高く、情報Ａを閲覧するユーザが情報Ｂを閲覧せず、情報Ｂを閲覧するユーザが情報Ａを閲覧しない場合は、ＡＢ間の相関が低いということである。
【００２５】
本実施形態では、商品でなく文章としているため、上記の考え方に基づいて文章間の類似性を判断する。まず、「文章Ａ」のユーザ閲覧履歴を参照すると、文章ＡはユーザＡ、ユーザＣ、ユーザＤが少なくとも１回以上閲覧している。ユーザ閲覧履歴を（ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤ、ユーザＥ）の５成分として表記すると、文章Ａのユーザ履歴は、少なくとも１回以上閲覧したユーザを１、一回も閲覧したことがないユーザを０として、（1,0,1,1,0）とすることができる。その他の文章についても同様にユーザ履歴を表記することが可能である。以降、ユーザ履歴は「ユーザ履歴成分」として表記する。
【００２６】
上記のようにユーザ履歴成分を表記することで、文章間の類似度を算出することが可能となる。文章ごとのユーザ履歴成分に基づいて、文章間の類似度、つまり相関係数を算出する。相関係数の算出方法は、上記のピアソン相関係数を始めとしてどのような計算方法でもよい。本実施形態では、ユーザの数に応じた座標空間を想定し、閲覧回数をその座標空間に位置する座標として捉えたユークリッド距離に基づいてそれぞれの文章間の類似度を算出する。ユークリッド距離に基づいて類似度を算出する方法も公知であるため、演算式等の表記は割愛する。
【００２７】
図４は、文章間の類似度をそれぞれ算出した結果である。尚、記憶される文章、およびユーザ識別子は各々、Ａ−Ｅの五つだけでなく、無数に存在するが、本実施例では、説明を簡素化するため、対象の文章、およびユーザを各々Ａ−Ｅの五つのみとする。算出した類似度により、文章Ａ−文章Ｄで0.33、文章Ｂ−文章Ｃで0.41とそれぞれ高い値となり、文章Ａと文章Ｄ、および文章Ｂと文章Ｃは類似性の高い文章であると言える。また、文章Ｅに関しては、文章Ａ〜文章Ｄのいずれとも類似性が低いという結果となった。
【００２８】
情報処理装置１の情報類似度算出手段１０１は、ＣＰＵ１０が、メモリ１１に記憶されている情報類似度演算プログラムに基づいて情報間の類似度を算出し、演算結果を一時的にメモリ１１に格納する処理を実行することで実現が可能である。
【００２９】
情報処理装置１のクラスタリング手段１０２は、情報類似度算出手段１０１により算出された類似度に基づいて、文章を含む情報をグループ化した情報クラスタを生成する。ここで「情報」とは、該文章はもちろん、文章そのものを識別するための識別子、また、商品情報などを含めたものとして定義する。類似するもの同士を一つのグループにまとめる処理としてクラスタリングがある。クラスタリングは様々な手法があり、凝集型クラスタリングと分割型クラスタリングなどが一般的によく知られている。前者は個々の要素から順次グループを生成するものであり、後者は全ての要素の全体集合のグループを起点として、順次分割してグループを生成するものである。本実施形態ではどちらの手法でも適用可能であるが、実施例として、凝集型クラスタリングの考え方を用いることにする。
【００３０】
まず、文章Ａ−文章Ｅのそれぞれをユーザ数に対応する次元の空間に配置することを考える。この時の空間座標はユーザ履歴成分に基づくものとする。この時の空間配置のイメージは図５に示した通りである。凝集型クラスタリングの手法としては、要素間の距離に基づいてクラスタを生成することが一般的である。文章間の距離は、情報類似度算出手段１０１により算出された類似度の逆数である。類似度の逆数で表記されることで、文章間の類似度が高ければ、文章間の距離が短くなる。このような考え方に基づくことで、図５のようなクラスタを生成することができる。
【００３１】
図５では、文章Ａと文章Ｄが同クラスタである文章クラスタＡに属し、文章Ｂと文章Ｃが同クラスタである文章クラスタＢに属し、文章Ｅは単独のクラスタである文章クラスタＣに属している。ここで、文章が同クラスタに属するための条件は、任意で設定することが可能である。本実施形態では、一例として「類似度0.3以上の文章同士が同クラスタに属する」と設定している。また、同クラスタに属する文章の数についても同様に任意で設定することが可能である。また、個々のクラスタの領域範囲についても任意で設定が可能である。クラスタの領域範囲の定め方の一例として、「同クラスタに属する要素の重心位置」を起点に定めるなどの方法がある。
【００３２】
情報処理装置１のクラスタリング手段１０２は、ＣＰＵ１０が、メモリ１１に記憶されているクラスタリング生成プログラムに基づいて文章クラスタを生成する処理を実行することで実現が可能である。
【００３３】
尚、クラスタリング手段１０２は、文章クラスタを生成する際に、文章クラスタ間のクラスタ類似度を算出すると同時に、同クラスタに属する条件（本実施形態では文章間の類似度が0.3以上）を満たす文章を特定のクラスタに対応づける処理を行う。一般に、文章クラスタ間の類似度の算出は、文章間の類似度を算出した時と同様の手法である。
【００３４】
本実施形態での文章クラスタ間の類似度算出について説明する。図６は、文章クラスタの特徴点を求めたものである。本実施形態では、各文章クラスタの特徴点を、同クラスタに属する文章の位置に基づく重心点として定義する。本実施形態で同クラスタに属する文章の数は最大で２個であるが、例えば同クラスタに文章が１００個、１０００個と属する場合では、最もバランスが取れた重心点を特徴点と定めることは適当であると言える。座標系の複数の点から重心を求める方法は公知であるため、詳細な演算式は割愛する。
【００３５】
一例として、文章クラスタＡの重心点を求めてみる。文章クラスタには文章Ａと文章Ｄが属しており、文章Ａのユーザ履歴成分に基づく座標を（s1,t1,x1,y1,z1）とし、文章Ｄのユーザ履歴成分に基づく座標を（s2,t2,x2,y2,z2）とすると、文章クラスタＡの重心点は（(s1＋s2)/2,(t1＋t2)/2,(x1+x2)/2,(y1+y2)/2,(z1+z2)/2）と定めることができる。文章クラスタＢ、文章クラスタＣにおいても同様に重心点を定めることができる。
【００３６】
算出された文章クラスタＡ、文章クラスタＢ、文章クラスタＣの重心点より、文章クラスタ間の距離を算出する。図７として、文章クラスタ間の距離を表記する。クラスタ間の距離は類似度の逆数で定義できることは上述したとおりであり、距離の値が大きいほど類似性は低く、距離の値が小さいほど類似性が高くなる。文章クラスタＡ−文章クラスタＢの類似性が高く、文章クラスタＣは文章クラスタＡ、文章クラスタＢ共に類似性の低い結果となった。
【００３７】
情報処理装置１の単語一般度算出手段１０３は、情報に出現する単語について、クラスタごとの出現頻度に、当該クラスタと、他のクラスタと、の距離を重み付けることで単語の単語一般度を算出する。
【００３８】
まず、クラスタリング手段１０２により、ユーザ履歴成分に基づいて文章クラスタが生成されることで、図８のようなデータベースが生成されるものとする。図８は図５のクラスタリングのイメージをデータベース化したものである。図８のデータベースは、Ｘ（横軸）方向に文章クラスタを並べ、Ｙ（縦軸）方向に単語を並べている。ここで、単語は、文章クラスタに属する各々の文章に出現する単語を形態素解析等で文章を分解して抽出したものである。出現文章数は、各々の文章クラスタで所定の単語が出現した文章の数（もしくは出現回数）である。尚、文章クラスタに属する文章の数は、文章クラスタＡ、文章クラスタＢ、文章クラスタＣで共に１００個としている。
【００３９】
例えば、「世界」という単語の文章クラスタＡでの出現文章数は１００となっており、これは文章クラスタＡに属する全ての文章で出現していることを意味する。また「グルメ」という単語の文章クラスタＡでの出現文章数は８０となっており、これは文章クラスタＡに属する１００個の文章の内、８０個の文章で出現していることを意味する。
【００４０】
この出現文章数に基づいて、文章クラスタごとの出現頻度ＤＦを算出する。単語の文章クラスタＡでの出現頻度ＤＦは、ＤＦ=（文章クラスタＡの出現文章数／文章クラスタＡの総文章数）という式で算出できるため、「世界」という単語の文章クラスタＡでの出現頻度はＤＦ=1と求まり、「グルメ」という単語の文章クラスタＡでの出現頻度はＤＦ=0.8と求めることができる。
【００４１】
算出した出現頻度ＤＦに基づいて、単語一般度を算出する。所定の単語の出現文章数に基づく重み係数であるＤＦはよく知られている。本実施形態では、重み係数である従来のＤＦを、文章クラスタ間の類似度で補正することで単語一般度を定義する。
【００４２】
まず、特定のクラスタに属す文章に含まれる単語について、単語一般度を算出するためには、記事クラスタごとのＤＦ値を、当該クラスタと他のクラスタとの距離で重みづけして集計する。集計手法は、総和、相加平均、もしくは相乗平均などいずれでもよいが、本実施形態では集計方法として総和を用いるとする。特定のクラスタに属す文章に含まれる単語について、単語一般度は、各クラスタに該単語が出現する文章の個数で表される出現頻度（ＤＦi）と、当該クラスタと他のクラスタとの距離αiとで、  Σ αi・ＤＦi  で表される。
【００４３】
特定のクラスタとして文章クラスタＡ、単語を「世界」として、単語一般度を算出する。当該クラスタと他のクラスタとの距離として、文章クラスタＡと文章クラスタＢとの距離をα（図７より値は1.25）、文章クラスタＡと文章クラスタＣとの距離をβ（図７より値は10.00）とする。他のクラスタとしての文章クラスタＢにおけるＤＦ値をＤＦBとし、文章クラスタＣにおけるＤＦ値をＤＦCとする。以上より文章クラスタＡにおける「世界」の単語一般度を値で当てはめた式で表すと、単語一般度は、
（α*ＤＦB）＋（β*ＤＦC）  と表すことができ、図７のクラスタ間の距離、および図８の出現文章数に基づくＤＦ値より、文章クラスタＡの「世界」の単語一般度は8.88と算出することができる。尚、文章クラスタＡに属する他の単語においても同様に単語一般度を算出することができる。ここでは、単語一般度について、文書クラスタＡにおけるＤＦ値(ＤＦA)を完全に無視しているが（距離が0なので）、特定の一定割合で考慮してもよい。例えば、最小クラスタ間距離の１０分の１の距離を同クラスタ間距離としてもよい。このような補正をした場合は、図７、図８より、例えば「世界」の単語一般度は
（1.25×70/100）+(10×80/100)+(0.125×1)＝9となる。これにより、文書クラスタでの偏りに加えて、特定文書クラスタ内での頻出語と、特定文書クラスタ内でも珍しい単語との区別をすることができる。
【００４４】
次に、特定のクラスタとして文章クラスタＢ、単語を「世界」として、単語一般度を算出する。当該クラスタと他のクラスタとの距離として、文章クラスタＢと文章クラスタＣとの距離をγ（図７より値は20.00）、文章クラスタＢと文章クラスタＡとの距離はα（図７より値は1.25）とする。他のクラスタとしての文章クラスタＡにおけるＤＦ値をＤＦAとし、文章クラスタＣにおけるＤＦ値をＤＦCとする。以上より文章クラスタＢにおける「世界」の単語一般度を値で当てはめた式で表すと、単語一般度は、  （γ*ＤＦC）＋（α*ＤＦA）  と表すことができ、図７のクラスタ間の距離、および図８の出現文章数に基づくＤＦ値より、文章クラスタＡの「世界」の単語一般度は17.25と算出することができる。尚、文章クラスタＡに属する他の単語においても同様に単語一般度を算出することができる。
【００４５】
次に、特定のクラスタとして文章クラスタＣ、単語を「世界」として、単語一般度を算出する。当該クラスタと他のクラスタとの距離として、文章クラスタＣと文章クラスタＡとの距離をβ（図７より値は10.00）、文章クラスタＣと文章クラスタＢとの距離はγ（図７より値は20.00）とする。他のクラスタとしての文章クラスタＡにおけるＤＦ値をＤＦAとし、文章クラスタＢにおけるＤＦ値をＤＦBとする。以上より文章クラスタＢにおける「世界」の単語一般度を値で当てはめた式で表すと、単語一般度は、  （β*ＤＦA）＋（γ*ＤＦB）  と表すことができ、図７のクラスタ間の距離、および図８の出現文章数に基づくＤＦ値より、文章クラスタＡの「世界」の単語一般度は24.00と算出することができる。尚、文章クラスタＡに属する他の単語においても同様に単語一般度を算出することができる。
【００４６】
以上のようにして、従来のＤＦ値とは異なり、自己の文章クラスタと他の文章クラタスとの距離に基づく相互関係を用いて単語一般度を算出することができる。例えば「ライト」という単語であれば、全ての文章クラスタで１０個の文章で出現しているものであるため、従来のＤＦ値は文章クラスタＡ、文章クラスタＢ、文章クラスタＣで同値となるが、本実施形態のように、文章クラスタ間の距離に基づいて重み付けることで、文章出現数のみでなく、他の文章クラスタとの相互関係を踏まえて単語一般度を定義することができる。
【００４７】
情報処理装置１の単語一般度算出手段１０３は、ＣＰＵ１０が、メモリ１１に記憶されている単語一般度演算プログラムに基づいて単語一般度を演算し、演算結果をメモリ１１に格納する処理を実行することで実現が可能である。
【００４８】
情報処理装置１の単語重要度算出手段１０４は、文章に出現する単語の出現頻度に対して、各クラスタ毎の当該単語の単語一般度の逆数による重みづけを行うことで、当該文章に対する単語の単語重要度を算出する。
【００４９】
ある特定の文章クラスタに属する文章の単語の重要度を評価するために、図９のような単語構成を持つ文章を想定する。ここでは、文章クラスタＢに属する１００個の文章の中の一つであるものとする。文章を形態素解析すると、「世界」、「ライト」、「文化」の３つの単語から構成されている。ＴＦは文章の全単語の出現回数に対する特定の単語の出現回数で定義される。一例で「世界」という単語は全単語数の出現回数１００回に対して２０回出現しているため、ＴＦは0.2と算出される。
【００５０】
単語重要度としてのＴＦ／ＩＤＦ法は公知である。ＩＤＦは、ＤＦの値にLOGを取った逆数である。本実施形態では、特定の文章クラスタに属する文章に出現する単語の重要度を評価するため、単語一般度算出手段１０３により算出された単語一般度を用い、ＤＦの値にLOGを取らずにＤＦの値をそのままＴＦ値に除算する方法を用いて説明を行うこととする。
【００５１】
まず、図９の文章クラスタＢに属する文章に出現する単語である「経済」の単語重要度を算出する。文章クラスタＢの「経済」の単語一般度をＤＦB（図８よりＤＦB値は0.06）として、ＴＦ値をＴＦB（図９よりＴＦB値は0.2）とする。文章の「経済」の単語重要度は、ＴＦ値に、算出されＤＦB値を除算することで算出されるため、  ＴＦB／ＤＦB  と定義することができる。図８、および図９より「経済」の単語重要度は3.20と算出することができる。尚、文章に出現するその他の単語としての「ライト」、「文化」についても文章クラスタＢの単語一般度を用いて同様に算出することが可能である。
【００５２】
図１０に、従来のＴＦ／ＩＤＦ法に基づいて算出した従来単語重要度と本実施形態で算出した単語重要度を示す。「経済」、「ライト」、「文化」の三つの単語において、従来単語重要度は「ライト」「文化」「経済」の順で重要な語と判定している（0.8, 0.6, 0.31）。これに対し、本実施形態に基づいて算出された単語重要度は、「経済」「ライト」「文化」の順で重要な語と判定しており順序が異なる(3.2, 0.19, 0.02)。特に「経済」の判定順位が完全に逆転している。これは、「経済」が文書クラスタＢに偏って頻出する特徴語であり、「ライト」が文書クラスタによらず低頻度で出現する一般語である点による。すなわち、従来の単語重要度では「経済」のように高頻度で出現する語句はＤＦ値が大きく特徴語となりにくいが、本手法では文書の属すクラスタ外では使われない特定分野の専門用語として判定するため特徴語と判定できる。
また、従来の単語重要度では「ライト」のように低頻度でしか出現しない語句はＤＦ値が小さく、特徴語と判定してしまう。これに対し、本手法では文書の属すクラスタ外でも使われる一般用語と判定しているため、特徴語ではないと除外できる。また、従来手法では「ライト」と「文化」の重要度が0.8と0.6であり、「経済」の0.31と比較するとかなり近い状態にあると見ることができる。しかし、図８に示すように「ライト」がどの分野でも低頻度しか出現しない語であるのに対し、「文化」は文書クラスタＢから非常に遠いクラスタである文書クラスタＣで頻繁に使われる語で、文書クラスタＢにおいて特徴語である可能性は「文化」の方が低いと考えるべきである。本手法では、重要度が0.19と0.02であり、「経済」の3.2と同様に、明確な順序性が表現できている。これは、文章をクラスタごとに区分けし、クラスタごとの単語の出現頻度、およびクラスタ間の距離（類似度）を考慮したことによる結果である。本実施形態に基づいて単語重要度を算出することで、例えば「シミレーション」のような誤記と言える単語をいたずらに特徴語と誤判定することが減り、更には従来よりも高精度に、「明日」、「日本」のような一般単語と、特定のジャンルでのみ多く使用される単語（ジャンルがサッカーであるなら「オフサイド」、「バロンドール」など）とが入り混じった文章から重要単語を抽出することが可能となる。
【００５３】
情報処理装置１の単語重要度算出手段１０４は、ＣＰＵ１０が、メモリ１１に記憶されている単語重要度演算プログラムに基づいて単語重要度を演算し、演算結果をメモリ１１に格納する処理を実行することで実現が可能である。
【００５４】
図１１は、本発明の実施形態にかかるフローチャートの一例である。
【００５５】
ユーザの文章閲覧情報を取得し、ユーザごとの文章相関を記憶する（ステップ１）。
【００５６】
ユーザごとの文章相関に基づいて文章−文章間の類似度を算出する（ステップ２）。算出した文章−文章間の類似度に基づいて、文章をグループ化した文章クラスタを生成する（ステップ３）。生成された複数の文章クラスタ−文章クラスタ間の距離を算出する（ステップ４）。
【００５７】
文章クラスタごとの単語の出現頻度に、算出された文章クラスタ間の距離を重み付けて、単語一般度を算出する（ステップ５）。文章に出現する単語の出現頻度に対して、算出された単語一般度を重み付けて、単語重要度を算出する（ステップ６）。
【００５８】
以上のように、本実施形態では、従来のように文章に出現する単語の出現頻度に基づいて単語重要度を算出するのではなく、ユーザと文章との相関に基づいて単語重要度を算出することで、文章内で真に重要な単語と、重要でない単語とを区分けすることが可能となった。
【００５９】
本願発明を実現できるような構成であれば、用いる装置の具備する内容、および装置の数量などは本実施形態に限定されない。
【符号の説明】
【００６０】
１００    ユーザ情報相関記憶手段
１０１    情報類似度算出手段
１０２    クラスタリング手段
１０３    単語一般度算出手段
１０４    単語重要度算出手段
【図１】
2018116662.tif 000003
【図２】
2018116662.tif 000004
【図３】
2018116662.tif 000005
【図４】
2018116662.tif 000006
【図５】
2018116662.tif 000007
【図６】
2018116662.tif 000008
【図７】
2018116662.tif 000009
【図８】
2018116662.tif 000010
【図９】
2018116662.tif 000011
【図１０】
2018116662.tif 000012
【図１１】
2018116662.tif 000013