(57)【要約】【課題】スパムか否かを判定する対象となる文書を絞り込み、簡単な特徴から、スパムアカウントを効率的に抽出する。【解決手段】スパムアカウント抽出装置１は、ネットワーク上のサーバに文書を投稿するサービスにおいて特定の話題となっている話題語を収集する話題語収集部１１と、投稿された文書に対して、話題語を少なくとも１つ含む文書を検索する検索部１２と、検索部によって検索された文書に含まれる話題語が、特定の話題と関連性が無い場合に、文書をスパム文書と判定するスパム文書判定部１４と、スパム文書が投稿される頻度に基づいて、スパム文書を投稿するアカウントをスパムアカウントと判定するスパムアカウント判定部１５と、を備える。【選択図】図１
2014109794.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク上のサーバに文書を投稿するサービスにおいて特定の話題となっている話題語を収集する話題語収集部と、
投稿された文書に対して、前記話題語を少なくとも１つ含む前記文書を検索する検索部と、
前記検索部によって検索された前記文書に含まれる前記話題語が、前記特定の話題と関連性が無い場合に、前記文書をスパム文書と判定するスパム文書判定部と、
前記スパム文書が投稿される頻度に基づいて、前記スパム文書を投稿するアカウントをスパムアカウントと判定するスパムアカウント判定部と、
を備えるスパムアカウント抽出装置。
【請求項２】
前記スパム文書判定部は、前記文書が前記話題語を一定数以上含む場合、前記文書をスパム文書と判定する、
請求項１に記載のスパムアカウント抽出装置。
【請求項３】
前記スパムアカウント抽出装置は、前記文書に含まれるＵＲＬが不適切なサイトへのリンクを含む場合、前記ＵＲＬを不適切ＵＲＬと判定する不適切ＵＲＬ判定部をさらに備え、
前記スパム文書判定部は、前記ＵＲＬが前記不適切ＵＲＬと判定された場合、前記文書を前記スパム文書と判定する、
請求項１又は２に記載のスパムアカウント抽出装置。
【請求項４】
前記不適切ＵＲＬ判定部は、前記ＵＲＬ又は前記ＵＲＬのリダイレクト先のＵＲＬが事前に定義した文字列を含む場合、前記ＵＲＬを前記不適切ＵＲＬと判定する、
請求項３に記載のスパムアカウント抽出装置。
【請求項５】
前記不適切ＵＲＬ判定部は、前記ＵＲＬ又は前記ＵＲＬのリダイレクト先のＵＲＬが遷移する文書が事前に定義した単語を含む場合、前記ＵＲＬを不適切ＵＲＬと判定する、
請求項３又は４に記載のスパムアカウント抽出装置。
【請求項６】
前記不適切ＵＲＬ判定部は、前記ＵＲＬ又は前記ＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない前記話題語を含む文書からのリンクを有する場合、前記ＵＲＬを前記不適切ＵＲＬと判定する、
請求項３〜５のいずれか一項に記載のスパムアカウント抽出装置。
【請求項７】
前記不適切ＵＲＬ判定部は、前記ＵＲＬ又は前記ＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、前記文書で使用されている前記話題語を含まない場合、前記ＵＲＬを前記不適切ＵＲＬと判定する、
請求項３〜６のいずれか一項に記載のスパムアカウント抽出装置。
【請求項８】
前記不適切ＵＲＬ判定部は、前記ＵＲＬ又は前記ＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない前記話題語を含む場合、前記ＵＲＬを前記不適切ＵＲＬと判定する、
請求項３〜７のいずれか一項に記載のスパムアカウント抽出装置。
【請求項９】
第１のアカウントが投稿した文書を閲覧可能であるアカウントの一覧を取得する友人一覧取得部と、
前記友人一覧取得部によって取得される前記第１のアカウントの友人一覧と、前記スパムアカウント判定部によりスパムアカウントと判定されたアカウントが投稿した文書を閲覧可能であるアカウントの一覧と、の類似性を算出するアカウント間類似度算出部と、
をさらに備え、
前記スパムアカウント判定部は、前記類似度に基づいて前記スパムアカウントを判定する、
請求項１〜８のいずれか一項に記載のスパムアカウント抽出装置。
【請求項１０】
前記友人一覧取得部は、
前記アカウント間類似度算出部が算出するアカウント間の類似度に基づいて、前記類似度が一定の閾値を超えるアカウントを前記第１のアカウントの友人一覧から抽出するスパムアカウント抽出部、
を含む請求項９に記載のスパムアカウント抽出装置。
【請求項１１】
前記スパムアカウント判定部が判定する判定結果に基づいて、前記文書のインデックスを生成する文書インデックス生成部と、
前記スパムアカウントから投稿された文書の閲覧を制御する文書閲覧制御部と、
をさらに備える請求項１〜９の何れか一項に記載のスパムアカウント抽出装置。
【請求項１２】
スパムアカウント抽出装置により実行されるスパムアカウント抽出方法であって、
ネットワーク上のサーバに文書を投稿するサービスにおいて特定の話題となっている話題語を収集する話題語収集ステップと、
投稿された文書に対して、前記話題語を少なくとも１つ含む前記文書を検索する検索ステップと、
前記検索ステップによって検索された前記文書に含まれる前記話題語が、前記特定の話題と関連性が無い場合に、前記文書をスパム文書と判定するスパム文書判定ステップと、
前記スパム文書が投稿される頻度に基づいて、前記スパム文書を投稿するアカウントをスパムアカウントと判定するスパムアカウント判定ステップと、
を備えるスパムアカウント抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スパムアカウントを抽出する抽出装置及び抽出方法に関する。
【背景技術】
【０００２】
従来、インターネットなどのネットワーク上のサーバに文書を投稿するサービスにおいて、ブログの一種であるミニブログ（マイクロブログ）等のコミュニケーションツールが利用されている。利用者は、日常の出来事や所感など様々なことを著した文書を投稿している。投稿された文書は、ストリームデータとなり、世論を反映したものとして、ビジネスやエンターテイメントなど多くの分野において様々な用途のために、分析及び活用されている。
【０００３】
ストリームデータの活用例として、ストリームデータに出現する単語の出現頻度を分析し、出現頻度が上昇している単語を話題語とし、話題語を抽出するサービスがある。
【０００４】
話題語は、その特性上、ミニブログサイトもしくはその連携サイトの目立つ位置に設置されることが多いため、閲覧数が多くなる傾向にある。そのため、その傾向に着目し、話題語についての議論を装い自社サイトへ誘導するリンク等、不特定多数への一方的な広告を含むスパム投稿が横行している。
【０００５】
これらスパム投稿に対処する先行技術として、スパムメールや迷惑メールを排除する方法（例えば、特許文献１参照）と、機械学習的手法を用いてスパマー（スパムを送信するアカウント）を特定する方法（例えば、非特許文献１参照）が知られている。
【０００６】
スパムメールや迷惑メールを排除する方法は、送信側から受信側への送信するメールに対して、該送信を拒否する判断基準となるキーワードをサーバにて管理する。そして、送信側から受信側へ送信するメール本文に、登録された該キーワードが含まれている場合、そのメールを破棄することにより、スパムメールや迷惑メールを受信側へ配信しない方法である。
【０００７】
また、機械学習的手法を用いてスパマーを特定する方法は、スパムの送信側であるスパマーが不当なリンクを形成するという特徴に着目する方法である。すなわち、まず、架空のユーザアカウントを作成し、次に、その架空のユーザアカウントへリンク形成の申請を送信してきたアカウントの中からスパマーを判定する。さらに、機械学習的手法を用いることにより、スパマーと判定したアカウントに見られる行動からスパマーを分類する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１３３５０８号公報
【非特許文献】
【０００９】
【非特許文献１】Ｋ．  Ｌｅｅ，  Ｊ．  Ｃａｖｅｒｌｅｅ，  ａｎｄ  Ｓ．  Ｗｅｂｂ．  “Ｕｎｃｏｖｅｒｉｎｇ  ｓｏｃｉal  ｓｐａｍｍｅｒｓ：  Ｓｏｃｉａｌ  ｈｏｎｅｙｐｏｔｓ  ＋  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ”，ＳＩＧＩＲ，２０１０.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記特許文献１に記載の方法は、メール本文に含まれるキーワードをもとにして、そのメールが迷惑メールであるか否かを判断しているため、メール本文に登録されたキーワードが含まれない場合、話題語をターゲットにしたメールであっても判定することが困難である。このため、投稿された文書内に、登録されたキーワードが含まれない場合は、この文書をスパム文書と判定できない虞がある。
【００１１】
また、上記非特許文献１に記載されている方法は、スパムアカウントの判定に各アカウントの行動に関する詳細な情報を用いるため、全てのアカウントを対象にすることは困難である。さらに、この方法は、スパム判定の精度を向上させようとすると、実際にはスパマーであるにも関わらず、スパマーで無いと誤った判定（偽陰性）が生じる虞がある。
【００１２】
よって、本発明は上記課題に鑑みてなされたものであり、スパムか否かを判定する対象となる文書を絞り込み、簡単な特徴から、スパムアカウントを効率的に抽出することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るスパムアカウント抽出装置は、ネットワーク上のサーバに文書を投稿するサービスにおいて特定の話題となっている話題語を収集する話題語収集部と、投稿された文書に対して、話題語を少なくとも１つ含む文書を検索する検索部と、検索部によって検索された文書に含まれる話題語が、特定の話題と関連性が無い場合に、文書をスパム文書と判定するスパム文書判定部と、スパム文書が投稿される頻度に基づいて、スパム文書を投稿するアカウントをスパムアカウントと判定するスパムアカウント判定部と、を備える。
【００１４】
本発明に係るスパムアカウント抽出装置によると、話題語収集部によって特定の話題となっている話題語が収集され、検索部によって投稿された文書のうち少なくとも話題語収集部が収集した単語を１つ以上含む文書が検索される。その後、スパム文書判定部により、投稿された文書がスパム文書であるか判定され、スパムアカウント判定部により、投稿された文書がスパム文書であった場合、その文書を投稿したアカウントがスパムアカウントと判定される。このため、話題語に基づいて検索対象となる文書が絞り込まれ、一方、絞り込まれた文書を対象にスパム文書か否か判定される。そして、スパム文書と判定された文書を一定回数以上投稿するアカウントをスパムアカウントと判定する。よって、スパムアカウントの抽出を効率的かつ網羅的に行うことが可能となる。
【００１５】
また、上記のスパムアカウント抽出装置においては、スパム文書判定部は、文書が話題語を一定数以上含む場合、文書をスパム文書と判定してもよい。
【００１６】
このように構成すると、同一文書内に複数種類の話題語を一定数以上含む文書をスパム文書と判定することができる。このため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００１７】
また、上記のスパムアカウント抽出装置は、文書に含まれるＵＲＬが不適切なサイトへのリンクを含む場合、ＵＲＬを不適切ＵＲＬと判定する不適切ＵＲＬ判定部をさらに備え、スパム文書判定部は、ＵＲＬが不適切ＵＲＬと判定された場合、文書を前記スパム文書と判定してもよい。
【００１８】
このように構成すると、文書内に不適切なサイトへのリンクを含む文書をスパム文書と判定することができる。このため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００１９】
また、上記のスパムアカウント抽出装置においては、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが事前に定義した文字列を含む場合、ＵＲＬを不適切ＵＲＬと判定してもよい。
【００２０】
このように構成すると、不適切ＵＲＬ判定部は、例えば、アフィリエイト又はアダルトサイト等の不適切なサイトであることがＵＲＬから事前に判別する。このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００２１】
また、上記のスパムアカウント抽出装置においては、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が事前に定義した単語を含む場合、ＵＲＬを不適切ＵＲＬと判定してもよい。
【００２２】
このように構成すると、不適切ＵＲＬ判定部は、文書に含まれるＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書に不適切な単語が含まれる場合、遷移元のＵＲＬを不適切なＵＲＬと判定する。このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００２３】
また、上記のスパムアカウント抽出装置においては、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む文書からのリンクを有する場合、ＵＲＬを不適切ＵＲＬと判定してもよい。
【００２４】
このように構成すると、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む文書からのリンクを有する場合、遷移元のＵＲＬを不適切ＵＲＬと判定する。このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００２５】
また、上記のスパムアカウント抽出装置においては、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、文書で使用されている話題語を含まない場合、ＵＲＬを不適切ＵＲＬと判定してもよい。
【００２６】
このように構成すると、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、遷移元の文書で使用されている話題語を含まない場合、遷移元のＵＲＬを不適切ＵＲＬと判定する。このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００２７】
また、上記のスパムアカウント抽出装置においては、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む場合、ＵＲＬを不適切ＵＲＬと判定してもよい。
【００２８】
このように構成すると、不適切ＵＲＬ判定部は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む場合、ＵＲＬを不適切ＵＲＬと判定する。このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００２９】
また、上記のスパムアカウント抽出装置は、第１のアカウントが投稿した文書を閲覧可能であるアカウントの一覧を取得する友人一覧取得部と、友人一覧取得部によって取得される第１のアカウントの友人一覧と、スパムアカウント判定部によりスパムアカウントと判定されたアカウントが投稿した文書を閲覧可能であるアカウントの一覧と、の類似性を算出するアカウント間類似度算出部と、をさらに備え、スパムアカウント判定部は、類似度に基づいてスパムアカウントを判定してもよい。
【００３０】
このように構成すると、友人一覧取得部は、第１のアカウントが投稿した文書を閲覧可能であるアカウントの一覧を取得する。そして、アカウント間類似度算出部は、スパムアカウント判定部によりスパムアカウントと判定されたアカウントが投稿した文書を閲覧可能であるアカウントの一覧と、上記第１のアカウントが投稿した文書を閲覧可能であるアカウントの一覧と、の類似性を算出する。
このため、スパムアカウントが抽出された場合、第１のアカウントがスパムアカウントか否かを効率的に判定することができる。よって、スパムアカウントの抽出を効率的かつ網羅的に行うことが可能となる。
【００３１】
また、友人一覧取得部は、アカウント間類似度算出部が算出するアカウント間の類似度に基づいて、類似度が一定の閾値を超えるアカウントを第１のアカウントの友人一覧から抽出するスパムアカウント抽出部を含んでいてもよい。
【００３２】
このように構成すると、スパムアカウント抽出部は、友人一覧取得部が取得したアカウントの一覧から、スパムアカウントと類似度の高いアカウントを、文書の投稿頻度に基づいて抽出することができる。よって、スパムアカウントの抽出をより精度よく、効率的かつ網羅的に行うことが可能となる。
【００３３】
また、上記のスパムアカウント抽出装置は、スパムアカウントの判定結果に基づいて、文書のインデックスを生成する文書インデックス生成部と、スパムアカウントではないアカウントからの投稿のみを閲覧可能とする閲覧手段と、をさらに備えてもよい。
【００３４】
このように構成すると、文書インデックス生成部は、スパムアカウント判定部が判定する判定結果に基づいて、文書のインデックスを生成し、閲覧手段は、スパムアカウントではないアカウントからの投稿のみを閲覧可能とする。このため、閲覧手段は、文書のインデックスに基づいて、文書の検索結果にスパムアカウントの投稿が表示されないようにすることができる。
【００３５】
ところで、上述したスパムアカウント抽出装置に係る発明は、スパムアカウント抽出方法の発明としてもとらえることができ、同様の作用・効果を奏する。スパムアカウント抽出方法は以下のように記述することができる。
【００３６】
本発明に係るスパムアカウント抽出方法は、特定の話題となっている話題語を収集する話題語収集ステップと、投稿された文書に対して、話題語を少なくとも１つ含む文書を検索する検索ステップと、検索ステップによって検索された文書に含まれる話題語が、特定の話題と関連性が無い場合に、文書をスパム文書と判定するスパム文書判定ステップと、スパム文書が投稿される頻度に基づいて、スパム文書を投稿するアカウントをスパムアカウントと判定するスパムアカウント判定ステップと、を備えて構成される。
【発明の効果】
【００３７】
本発明によれば、スパムか否かを判定する対象となる文書を絞り込み、簡単な特徴から、スパムアカウントを効率的に抽出することができる。
【図面の簡単な説明】
【００３８】
【図１】第１実施形態に係るスパムアカウント抽出装置の機能ブロック図である。
【図２】第１実施形態に係るスパムアカウント抽出装置におけるスパムアカウントを抽出するフローチャートである。
【図３】第１実施形態に係るスパムアカウント抽出装置におけるスパム文書を判定するフローチャートである。
【図４】第１実施形態に係るスパムアカウント抽出装置におけるスパムアカウントを判定するフローチャートである。
【図５】第２実施形態に係るスパムアカウント抽出装置の機能ブロック図である。
【図６】第２実施形態に係るスパムアカウント抽出装置が備える不適切ＵＲＬ判定部の機能ブロック図である。
【図７】第２実施形態に係るスパムアカウント抽出装置における不適切ＵＲＬを判定するフローチャートである。
【図８】第３実施形態に係るスパムアカウント抽出装置の機能ブロック図である。
【図９】第３実施形態に係るスパムアカウント抽出装置におけるスパムアカウントを抽出するフローチャートである。
【図１０】第４実施形態に係るスパムアカウント抽出装置の機能ブロック図である。
【図１１】第４実施形態に係るスパムアカウント抽出装置における文書閲覧を制御するフローチャートである。
【図１２】文書インデックス格納部の構成を示す概略図である。
【図１３】文書インデックス格納部の構成を示す概略図である。
【図１４】不適切ＵＲＬ格納部の構成を示す概略図である。
【図１５】スパム文書格納部の構成を示す概略図である。
【図１６】スパムユーザ格納部の構成を示す概略図である。
【図１７】不適切語格納部の構成を示す概略図である。
【図１８】参照元話題語格納部の構成を示す概略図である。
【図１９】判定結果格納部の構成を示す概略図である。
【図２０】スパムアカウント抽出装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００３９】
以下、添付図面を参照して本発明の実施形態について具体的に説明するが、本発明は以下の実施形態に限定されるものではない。なお、同一又は相当する要素には、同一の符号を付し、重複する説明は省略する。
【００４０】
（第１実施形態）
図１は、第１実施形態に係るスパムアカウント抽出装置の機能ブロック図である。スパムアカウント抽出装置１は、インターネット等のネットワーク上のサーバに文書を投稿する装置に好適に適用される。
【００４１】
図１に示すように、本実施形態のスパムアカウント抽出装置１は、主に、判定部１０Ａと記憶部２０とを備える。判定部１０Ａは、話題語収集部１１、検索部１２、ＵＲＬ展開部１３、スパム文書判定部１４、及びスパムアカウント判定部１５を備える。記憶部２０は、文書インデックス格納部２１、不適切ＵＲＬ格納部２２、スパム文書格納部２３、及びスパムユーザ格納部２４を備える。さらに判定部１０Ａは文書インデックス生成部１６を備えてもよい。以下、各部の機能を概説する。
【００４２】
話題語収集部１１は、現在話題になっている話題語の一覧を収集する。検索部１２は、話題語Ｗを少なくとも１つ含む文書を検索し、話題語Ｗを含む文書の集合を収集する。ＵＲＬ展開部１３は、本文内のＵＲＬに一度アクセスを行い、リダイレクトされている間はリダイレクト先に再度アクセスする。スパム文書判定部１４は、スパム文書判定部１４は、収集した各文書がスパム投稿であるかどうかを判別する。スパムアカウント判定部１５は、スパム文書が投稿される頻度に基づいて、スパム文書を投稿するアカウントをスパムアカウントと判定する。文書インデックス生成部１６は、インデックスにスパムアカウントの抽出結果を登録し、スパムの投稿が検索結果に表示されないようにする。
【００４３】
本実施形態では、スパム型投稿として主に２種類を想定している。１つは、話題語や検索急上昇ワード等の一覧を定期的に自動投稿するアカウントによる投稿で、以後トレンド型投稿と呼ぶ。トレンド型投稿は話題語をランキング表示することから同一文書内に話題語を複数含むという特徴を持つ。トレンド型投稿は厳密にはスパム文書ではないが、本発明の目的とする話題語に対する議論を抽出するという観点では必要の無い文書であるため、本実施形態においてはスパムと分類する。
【００４４】
スパム型投稿のもう１つの種類は、話題語に加え、事前定義した特定のＵＲＬへのリンクを含む投稿であり、以後ＵＲＬ型投稿と呼ぶ。ＵＲＬ型投稿は基本的には自身のサイトやアフィリエイトプログラムへの誘導を目的としたものである。この目的は、大きく２種類のものが確認されている。１つは物販サイト等において話題語をキーワードに含む商品のＰＲを投稿したものであり、もう１つはあたかも話題語に関するデータソースを含む投稿を装いながら、実際にリンク先に遷移すると全く関係無い遷移先に誘導されるものである。ＵＲＬ型投稿はブログサイトのコメント欄等にも見られ、従来から存在するスパムに近いが、文書のテキスト情報そのものからの判別は困難であること、ＵＲＬが短縮されていることや文書の量が膨大であることから全ての文書を調査することは事実上困難であるという特徴がある。
【００４５】
文書インデックス格納部２１は、図１２及び図１３に示すように、文書一覧２１ａ及び転置インデックス２１ｂとから構成される。文書インデックス格納部２１の文書一覧２１ａは、図１２に示すように、文書ＩＤ、投稿日時、ユーザＩＤ、及び本文が、対応づけられて記憶されている。また、文書インデックス格納部２１の転置インデックス２１ｂは、図１３に示すように、単語及び文書ＩＤが対応づけて記憶されている。このため、各単語がどの文書ＩＤで管理される文書に記載されているか、簡易に検索することができる。
【００４６】
不適切ＵＲＬ格納部２２は、図１４に示すように、不適切と判定されたＵＲＬが一覧で記録されている。
【００４７】
スパム文書格納部２３は、スパムと判定された文書は文書ＩＤ及び投稿を行ったアカウントＩＤが格納されている。スパム文書格納部２３は、図１５に示すように、文書ＩＤ、投稿日時、ユーザＩＤ、話題語、ＵＲＬ、ＵＲＬ型フラグ、及びトレンド型フラグが一対一に対応づけられて記録されている。
【００４８】
スパムユーザ格納部２４は、トレンド型もしくはＵＲＬ型の投稿が一定数以上のアカウントをスパムアカウントと判定し、判定結果が格納されている。スパムユーザ格納部２４は、図１６に示すように、スパムアカウントと判定されたユーザＩＤが記録されている。
【００４９】
図２０には、スパムアカウント抽出装置１のハードウェア構成の一例を示す。スパムアカウント抽出装置１は、ハードウェア構成として、ＣＰＵ１Ａと、ＲＡＭ１Ｂと、ＲＯＭ１Ｃと、キーボード、音声入力のための音声認識装置等から成る入力部１Ｄと、所定位置に挿入された記憶媒体Ｍに記憶されたデータやプログラム等を読み取る読取部１Ｅと、外部との通信を行う通信部１Ｆと、補助記憶部１Ｇと、スパム判定結果又は文書検索結果等を含む画像を表示する表示部１Ｈと、を備える。前述したスパムアカウント抽出装置１の各機能ブロックの機能は、ＲＡＭ１Ｂ等にプログラムやデータ等を読み込ませ、ＣＰＵ１Ａの制御の下でプログラムを実行することで実現される。なお、後述する第２〜第４実施形態におけるスパムアカウント抽出装置のハードウェア構成も、上記図２０のハードウェア構成と同様である。
【００５０】
次に、図２を用いて、第１実施形態におけるスパムアカウントを抽出するフローを説明する。図２は、スパムアカウント抽出装置１におけるスパムアカウントを抽出するフローチャートである。
【００５１】
図２に示すように、まず、ステップＳ１１において、話題語収集部１１は、現在話題になっている話題語Ｗを収集する。ここで、話題語Ｗは文書インデックス格納部２１に格納されている情報の時系列の推移から生成しても良いし、外部のミニブログ解析サービス、もしくは検索キーワード急上昇ランキング等を用いても良い。
【００５２】
次に、ステップＳ１２において、検索部１２は、話題語収集部１１が収集した話題語Ｗを用いて、話題語Ｗを少なくとも１つ含む文書を検索し、話題語Ｗを含む文書の集合を収集する。検索部１２が検索する文書は、収集した複数の話題語Ｗのうち任意の一つを含んでいれば個数は限定されない。また、話題語Ｗを含む文書の集合の適合度は考慮する必要が無いため、検索部１２は新着順に検索を行ってもよい。さらに、目的は各話題語Ｗが公開されて以降に話題語Ｗを含む投稿を網羅的に収集することであるが、各語が公開された日時を知ることは困難であるため、図２のフローを定期的に実行してもよく、所定回実施時以降に投稿された文書のみを収集するとしてもよい。
【００５３】
さらに、ステップＳ１３において、スパム文書判定部１４は、収集した各文書がスパム投稿であるかどうかを判別する。スパム文書判定部１４は、検索部１２によって検索された文書に含まれる話題語Ｗが、特定の話題と関連性が無い場合に、文書をスパム文書と判定する。文書をスパム判定するフローについては、図３を用いて後述する。
【００５４】
そして、ステップＳ１４において、スパムアカウント判定部１５は、スパム文書が投稿される頻度に基づいて、スパム文書を投稿するアカウントをスパムアカウントと判定する。スパムアカウント判定部１５は、スパム文書判定部１４によってスパム文書と判定された文書を投稿するアカウントを、スパムアカウントと判定する。スパム文書を投稿するスパムアカウントを判定するフローについては、図４を用いて後述する。
【００５５】
さらに、本実施形態では、図１に示すように、文書インデックス生成部１６を備えて構成してもよい。このように構成すると、文書インデックス生成部１６は、インデックスにスパムアカウントの抽出結果を登録し、スパムの投稿が検索結果に表示されないようにする。
【００５６】
そして、図２に示すように、ステップＳ１５において、文書インデックス生成部１６は、インデックス（インデクサ）にスパムアカウントの抽出結果を登録し、スパムの投稿が検索結果に表示されないようにしてもよい。
【００５７】
ここで、図３を用いて、本実施形態における文書をスパム判定するフローについて説明する。図３はスパム文書を判定する流れを示すフローチャートである。
【００５８】
本実施形態における文書のスパム判定（図２のＳ１３）は、スパム文書判定部１４が文書インデックス格納部２１及び不適切ＵＲＬ格納部２２に格納された情報をもとに、以下に示すフローに沿って行われる。
【００５９】
まず、図３に示すように、ステップＳ２１において、スパム文書判定部１４は文書内にＵＲＬを含んでいるか否かを判定し、文書内にＵＲＬを含む投稿である場合は、ステップＳ２２において、ＵＲＬ展開部１３がＵＲＬの展開を行う。
【００６０】
一般に、ミニブログサービスでは、ＵＲＬを含む投稿を行う場合、投稿文字数の制限の関係や表示を簡易にするために、ＵＲＬ短縮サービスを併用することが多い。ＵＲＬ短縮サービスとは、元々のＵＲＬをより短い別のＵＲＬに置き換えるサービスで、複数の事業者により提供されている。短縮ＵＲＬはＨＴＴＰのリダイレクトにより実現されている。このため、本実施形態では、本文内のＵＲＬに一度アクセスを行い、リダイレクトされている間はリダイレクト先に再度アクセスを行い、その都度ＵＲＬを更新するとしてもよい。
【００６１】
次に、ステップＳ２３において、スパム文書判定部１４は、同一文書内に話題語を一定数以上（例えば、５つ以上）含むか否かを判定し、同一文書内に話題語を一定数以上（例えば、５つ以上）含む場合、ステップＳ２４において、スパム文書判定部１４は判定対象の文書をトレンド型投稿のスパム文書と判定する。
【００６２】
そして、ステップＳ２５において、スパム文書判定部１４は、文書内に含まれていたＵＲＬ、又はそのリダイレクト先のＵＲＬが事前定義したブラックリスト内のＵＲＬに、少なくとも一部が一致するか否かを判定し、文書内に含まれていたＵＲＬ、又はそのリダイレクト先のＵＲＬが事前定義したブラックリスト内のＵＲＬに、少なくとも一部が一致する場合、ステップＳ２６において、スパム文書判定部１４は、判定対象の文書をＵＲＬ型投稿のスパム文書と判定する。
【００６３】
また、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬに、事前に定義した文字列が含まれる場合、スパム文書判定部１４は、判定対象の文書をスパム文書と判定してもよい。そして、スパム文書判定部１４は、不適切ＵＲＬ格納部２２に、不適切と判定されたＵＲＬを記録する。スパム文書判定部１４が記録するＵＲＬは、一覧にして、不適切ＵＲＬ格納部２２に記録されていてもよい。あるいは、アダルトサイトや物販サイトのアフィリエイトといった遷移先のＵＲＬを、不適切ＵＲＬ格納部２２へ事前に登録しておいてもよい。
【００６４】
そして、スパムと判定された文書は、文書ＩＤ及び投稿を行ったアカウントＩＤがスパム文書格納部２３に格納される。単一の文書がトレンド型、ＵＲＬ型の両者に分類される場合もある。
【００６５】
ここで、図４を用いて、本実施形態におけるスパムアカウントを判定するフローについて説明する。図４はスパムアカウントを判定する流れを示すフローチャートである。
【００６６】
本実施形態におけるスパムアカウントの判定（図２のＳ１４）は、スパムアカウント判定部１５がスパム文書格納部２３に格納された情報を基に、以下に示すフローに沿って行われる。
【００６７】
まず、図４に示すように、ステップＳ３１において、スパムアカウント判定部１５は、スパム文書格納部２３に格納された情報のうち、直近のｄ日間分を抽出し、ステップＳ３２において、ユニークな文書数をアカウントＩＤ毎に集計する。また、ｄ日間を例えば７日間としてもよい。
【００６８】
なお、第１実施形態において、スパムアカウント判定部１５は、ユニークな文書数をアカウントＩＤごとに集計するための文書集計手段（不図示）を備えてもよい。そして、ステップＳ３２において、文書集計手段がユニークな文書数を集計してもよい。
【００６９】
次に、ステップＳ３３において、スパムアカウント判定部１５は、集計した投稿数を基にアカウント毎に判定を行い、ステップＳ３４においてトレンド型もしくはＵＲＬ型の投稿が一定数以上のアカウントをスパムアカウントと判定し、判定結果をスパムユーザ格納部２４に格納する。
【００７０】
そして、ステップＳ３５において、スパムアカウント判定部１５がスパムアカウントの判定を行う。
【００７１】
上述した一連の処理は、定期的に実行され、スパムアカウント（スパムユーザ）の情報は常に更新されるように設定してもよい。また、一度スパムアカウントと判定された場合でもd日間スパム投稿を行わない場合、そのアカウントをスパムアカウントではないと判定してもよい。あるいは、一度スパムアカウントと判定された場合でもd日間スパム投稿を行わない場合、そのアカウントをスパムユーザ格納部２４に格納されたリストから解除されるように設定してもよい。
【００７２】
このように構成すると、話題語収集部１１によって特定の話題となっている話題語Ｗが収集され、検索部１２によって投稿された文書のうち少なくとも話題語収集部１１が収集した単語を１つ以上含む文書が検索される。そして、スパム文書判定部１４により、投稿された文書がスパム文書であるか判定することができる。さらに、スパムアカウント判定部１５により、投稿された文書がスパム文書であった場合、その文書を投稿したアカウントをスパムアカウントと判定することができる。
【００７３】
よって、話題語Ｗに基づいて検索対象となる文書を絞り込み、絞り込まれた文書を対象にしてスパム文書か否かを判定することができる。また、同一文書内に複数種類の話題語を一定数以上含む文書をスパム文書と判定することができる。さらに、スパム文書と判定された文書を一定回数以上投稿するアカウントをスパムアカウントと判定することができる。
【００７４】
このため、スパムアカウントの抽出を効率的かつ網羅的に行うことが可能となる。
【００７５】
上述した第１実施形態において、文書インデックス生成部１６は、スパムアカウントの抽出を効率的かつ網羅的に行うための必須の構成ではない。第１実施形態において、文書インデックス生成部１６を備えることにより、スパムカウントと判定されたアカウントからの投稿を検索結果に表示されないように処理することができる。また、上述した第１実施形態において、スパムアカウントの判定は、上述した方法に限定されるものではない。
【００７６】
（第２実施形態）
図５は、第２実施形態に係るスパムアカウント抽出装置の機能ブロック図である。第２実施形態に係るスパムアカウント抽出装置２は、第１実施形態に係るスパムアカウント抽出装置１に、更に不適切ＵＲＬ判定部１７を備える。
【００７７】
図６に不適切ＵＲＬ判定部１７の機能ブロック図を示す。不適切ＵＲＬ判定部１７は、判定部１００及び記憶部２００を備えて構成される。判定部１００は、ＵＲＬ展開部１０１、Ｗｅｂページ取得部１０２、Ｗｅｂページ解析部１０３を備えて構成される。記憶部２００は、不適切語格納部２０１、参照元話題語格納部２０２、判定結果格納部２０３から成る記憶部２００を備えて構成される。
【００７８】
ＵＲＬ展開部１０１は、短縮ＵＲＬの展開を行う。Ｗｅｂページ取得部１０２は、遷移先のＷｅｂページの本文を取得する。Ｗｅｂページ解析部１０３は、取得したＷｅｂページ本文中に参照元話題語格納部２０２、並びに不適切語格納部２０１に格納された不適切語が出現するかどうかをチェックする。
【００７９】
不適切語格納部２０１は、図１７に示すように、事前に登録された不適切語が格納されている。また、この不適切語の一覧２０１ａは、逐次更新されてもよく、あるいは、学習によって随時語句が格納されてもよい。参照元話題語格納部２０２は、図１８に示すように、遷移元の文書に含まれている話題語Ｗが投稿日時及びＵＲＬと対応づけて格納されている。判定結果格納部２０３は、図１９に示すように、不適切ＵＲＬと判定されたＵＲＬが格納されている。
【００８０】
不適切ＵＲＬ判定部１７は、次の条件のいずれか１つにでも該当するＵＲＬを不適切ＵＲＬと判定し、判定結果格納部２０３に格納する。条件１は遷移先に不適切語を含む場合、条件２は遷移先に参照元話題語を含まない場合、条件３は一定以上の話題語Ｗから参照されている場合、条件４は遷移先に複数の関連性のない話題語を含む場合である。このとき、一定以上の話題語Ｗとは、例えば、５つ以上としてもよい。
【００８１】
図７は不適切ＵＲＬを判定するフローである。まず、ステップＳ４１において、ＵＲＬ展開部１０１は短縮ＵＲＬの展開を行う。次に、ステップＳ４２において、判定部１００は、短縮ＵＲＬ展開した展開後のＵＲＬが判定結果格納部２０３に登録済みのものであるかどうかをチェックする。
【００８２】
ＵＲＬが登録済みのものでない場合、ステップＳ４３において、判定部１００は、参照元話題語格納部２０２にＵＲＬと参照元話題語のペアを格納した後、Ｗｅｂページ取得部１０２は遷移先のＷｅｂページの本文を取得する。
【００８３】
ステップＳ４４において、判定部１００は、Ｗｅｂページ解析部１０３が取得したＷｅｂページ本文中に参照元話題語格納部２０２及びに不適切語格納部２０１に格納された不適切語が出現しているか否か判定する。
【００８４】
次に、ステップＳ４７において、不適切ＵＲＬ判定部１７は、以下の３つの条件のいずれか１つにでも該当するＵＲＬを不適切ＵＲＬと判定し、判定結果格納部２０３に格納する。条件１は、遷移先に不適切語を含む場合である（ステップＳ４４）。条件２は、遷移先に参照元話題語を含まない場合である（ステップＳ４５）。条件３は、一定以上（例えば、５つ以上）の話題語から参照されている場合、条件４は、遷移先に複数の関連性のない話題語を含む場合（ステップＳ４８）である（ステップＳ４６）。
【００８５】
そして、本実施形態において、ステップＳ４５における判定は、遷移先に不適切な単語を含んでいない場合であっても、参照元の話題語とは関係性の薄いものであるとし、不適切なＵＲＬであると判定する。このため、事前定義されていないＵＲＬを含む文書を投稿していたとしてもスパムユーザとしての検出することが可能となる。
【００８６】
また、本実施形態において、ステップＳ４６における判定は、遷移先に不適切な単語を含んでおらず、かつ、遷移先に参照元の話題語が含まれる場合であっても、一定数以上の参照元から参照されているＵＲＬは、不適切なＵＲＬであると判定する。このため、事前定義されていないＵＲＬを含む文書を投稿していたとしてもスパムユーザとしての検出することが可能となる。
【００８７】
さらに、本実施形態において、ステップＳ４８における判定は、遷移先に不適切な単語を含んでおらず、遷移先に参照元の話題語が含まれており、かつ、一定数以上の参照元から参照されていないＵＲＬであっても、遷移先に複数の関連性のない話題語が含まれている場合、不適切なＵＲＬであると判定する。このため、事前定義されていないＵＲＬを含む文書を投稿していたとしてもスパムユーザとして検出することが可能となる。
【００８８】
さらに、文書インデックス生成部１６は、不適切ＵＲＬ格納部２２に加え、判定結果格納部２０３を参照し、文書インデックス生成時の表示/非表示の判定を行う。
【００８９】
このように構成すると、文書内に不適切なサイトへのリンクを含む文書をスパム文書と判定することができる。また、不適切ＵＲＬ判定部１７は、例えば、アフィリエイト又はアダルトサイト等の不適切なサイトであることをＵＲＬから事前に判別することができる。そして、不適切ＵＲＬ判定部１７は、文書に含まれるＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書に不適切な単語が含まれる場合、遷移元のＵＲＬを不適切なＵＲＬと判定することができる。そして、不適切ＵＲＬ判定部１７は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む文書からのリンクを有する場合、遷移元のＵＲＬを不適切ＵＲＬと判定することができる。さらに、不適切ＵＲＬ判定部１７は、ＵＲＬ又はＵＲＬのリダイレクト先のＵＲＬが遷移する文書が、複数の関連性のない話題語を含む場合であっても、ＵＲＬを不適切ＵＲＬと判定することができる。
【００９０】
このため、不適切なＵＲＬを含む文書をスパム文書と判定することができるため、スパムアカウントの抽出をより効率的に行うことが可能となる。
【００９１】
（第３実施形態）
図８は、第３実施形態に係るスパムアカウント抽出装置の機能ブロック図である。第３実施形態に係るスパムアカウント抽出装置３は、第２実施形態に係るスパムアカウント抽出装置２に、更に友人一覧取得部１８、スパムアカウント抽出部１８１、及びアカウント間類似度算出部１９を備える。
【００９２】
一般に、ミニブログサービスにおける友人関係には、一方からの申請を他方が承認することで成り立つ双方向のものと、一方のユーザが他方のユーザの投稿を一方的に閲覧可能な状態にする（以降、フォローと呼ぶ）一方向のものがある。説明理解の容易性を考慮し、本実施形態では、フォローの関係にあるユーザを友人関係にあるユーザとして説明する。
【００９３】
友人一覧取得部１８は、スパムユーザ格納部２４に格納されたユーザアカウントの友人の一覧を取得する。スパムアカウント抽出部１８１は、第１のアカウントと関連する他のアカウントの一覧からから、類似度の高いアカウントをスパムアカウントとして抽出する。アカウント間類似度算出部１９は、各スパムアカウントの類似度を、友人関係を用いて算出する。記憶部２０は、類似度が一定の閾値を超えるアカウントをスパムユーザとしてスパムユーザ格納部２４に格納する。
【００９４】
図９は、スパムアカウント抽出装置３におけるスパムアカウントを抽出するフローである。すなわち、友人関係からのスパムアカウント判定の処理の流れを示すフローチャートである。
【００９５】
図９に示すように、ステップＳ５１において、友人一覧取得部１８は、スパムアカウントと判定されたアカウントの友人一覧を、スパムユーザ格納部２４から取得する。そして、ステップＳ５２において、スパムアカウント抽出部１８１は、友人一覧取得部１８が取得したユーザアカウントの一覧から、出現頻度の高い、即ちスパムアカウントを多数友人に持つアカウントを抽出する。
【００９６】
次に、ステップＳ５３において、友人一覧取得部１８は、ステップＳ５２においてスパムアカウント抽出部１８１が抽出したユーザアカウントの友人一覧を取得する。
【００９７】
さらに、ステップＳ５４において、アカウント間類似度算出部１９は、ステップＳ５２においてスパムアカウント抽出部１８１が抽出したアカウントと、そのアカウントの友人のアカウントとの類似度を、算出する。また、記憶部２０は、類似度が一定の閾値を超えるアカウントをスパムアカウントとしてスパムユーザ格納部２４に格納する。例えば、類似度の指標として例えばＪａｃｃａｒｄ係数を用いてもよい。Ｊａｃｃａｒｄ係数を用いると、２つのアカウントＸ、Ｙの類似度は以下の式（１）にて評価される。
【数１】
2014109794.tif 000003
【００９８】
ここで、｜Ｘ∩Ｙ｜はＸとＹが共通に友人として持つアカウントの数、｜Ｘ∪Ｙ｜はＸとＹの少なくとも一方を友人として持つアカウントの総数となる。
【００９９】
あるいは、類似度の指標として、コサイン距離又はＳｉｍｐｓｏｎ係数等他の類似度を表す指標を用いてもよい。
【０１００】
このように構成すると、第１のアカウントがスパムアカウントと判定された場合、効率的に他のスパムアカウントを抽出することができる。すなわち、ミニブログサービス上における友人関係から、スパム判定されたユーザアカウントの判定が可能となる。よって、スパムアカウントの抽出を効率的かつ網羅的に行うことが可能となる。
【０１０１】
尚、上述した実施形態では、友人関係における方向をフォローしているユーザを友人関係として説明したが、本実施形態における友人関係は、フォローしている場合に限らず、双方向の場合であってもよい。また、上述した実施形態では、１以上のアカウントを１のユーザが所有し管理していてもよい。
【０１０２】
（第４実施形態）
図１０は、第４実施形態に係るスパムアカウント抽出装置４の機能ブロック図である。第４実施形態に係るスパムアカウント抽出装置４は、第３実施形態に係るスパムアカウント抽出装置３に、更に文書閲覧制御部３０を備える。
【０１０３】
文書閲覧制御部３０は、文書インデックス生成部１６によって生成され文書インデックスにもとづいて、スパムアカウントからの投稿と判定された文書の閲覧を除外する。
【０１０４】
図１１は、文書閲覧制御部３０における文書の閲覧を判定するフローである。
【０１０５】
まず、図１１に示すように、ステップＳ６１において、文書閲覧制御部３０は、文書のインデックスを取得する。
【０１０６】
次に、ステップＳ６２において、文書閲覧制御部３０は、スパムユーザ格納部２４からスパムアカウントについての検索結果を取得する。さらに、ステップＳ６３において、文書閲覧制御部３０は、文書の検索結果がスパムアカウントから投稿された文書か否かを判定する。そして、ステップＳ６５において、文書閲覧制御部３０は、検索結果がスパムカウントから投稿された文書と判定された場合は閲覧不可と判定する。一方、ステップＳ６６において、文書閲覧制御部３０は、検索結果がスパムカウントから投稿された文書ではないと判定された場合、文書を閲覧可能と判定する。
【０１０７】
このように構成すると、文書インデックス生成部１６がスパムアカウントの判定結果に基づいて作成した文書のインデックスを基に、文書閲覧制御部３０は、スパムアカウントではないアカウントからの投稿のみを閲覧可能とすることができる。このため、閲覧手段（不図示）は、文書のインデックスに基づいて、表示部１Ｈが表示する文書の検索結果中に、スパムアカウントの投稿が表示されないようにすることができる。
【０１０８】
上述した各実施形態は、本発明に係るスパムアカウント抽出装置及びスパムアカウントの抽出方法の一例を示すものであり、実施形態に係る装置及び方法に限られるものではなく、変形し、又は他のものに適用したものであってもよい。
【符号の説明】
【０１０９】
１，２，３，４…スパムアカウント抽出装置、１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ…判定部、１１…話題語収集部、１２…検索部、１３…ＵＲＬ展開部、１４…スパム文書判定部、１５…スパムアカウント判定部、１６…文書インデックス生成部、１７…不適切ＵＲＬ判定部、１８…友人一覧取得部、１９…アカウント間類似度算出部、２０…記憶部、２１…文書インデックス格納部、２１ａ…文書一覧、２１ｂ…転置インデックス、２２…不適切ＵＲＬ格納部、２３…スパム文書格納部、２４…スパムユーザ格納部、３０…文書閲覧制御部、１００…判定部、１０１…ＵＲＬ展開部、１０２…Ｗｅｂページ取得部、１０３…Ｗｅｂページ解析部、１８１…スパムアカウント抽出部、２００…記憶部、２０１…不適切語格納部、２０２…参照元話題語格納部、２０３…判定結果格納部、Ｗ…話題語。
【図１】
2014109794.tif 000004
【図２】
2014109794.tif 000005
【図３】
2014109794.tif 000006
【図４】
2014109794.tif 000007
【図５】
2014109794.tif 000008
【図６】
2014109794.tif 000009
【図７】
2014109794.tif 000010
【図８】
2014109794.tif 000011
【図９】
2014109794.tif 000012
【図１０】
2014109794.tif 000013
【図１１】
2014109794.tif 000014
【図１２】
2014109794.tif 000015
【図１３】
2014109794.tif 000016
【図１４】
2014109794.tif 000017
【図１５】
2014109794.tif 000018
【図１６】
2014109794.tif 000019
【図１７】
2014109794.tif 000020
【図１８】
2014109794.tif 000021
【図１９】
2014109794.tif 000022
【図２０】
2014109794.tif 000023