(57)【要約】【課題】  本発明の課題は調査対象の母集団における属性比率を考慮した集団形成を行うことを目的とする。【解決手段】  上記課題は、公開情報の提供者についての属性であって、時間変化に応じて属性値が変化する第１の属性に関する属性値が所定の属性値に該当すると算出された提供者を要素とする第１の提供者群に含まれる各提供者の公開情報から１又は複数のキーワードを抽出し、新たな公開情報について、１又は複数のキーワードに含まれる各キーワードに基づいて、対応するキーワードを含む公開情報の提供者群を形成して、１又は複数の提供者群を形成し、１又は複数の提供者群のうち、第１の属性とは異なる属性の属性値の分布が、第１の提供者群と所定の類似関係にある提供者群を特定し、特定した提供者群の提供者のうち、第１の属性に関する属性値が所定の属性値に該当する提供者を用いて第１の提供者群に対応する新しい提供者群を形成する群形成方法により達成される。【選択図】  図４
2015166916.tif 000002
【特許請求の範囲】
【請求項１】
公開情報の提供者についての属性であって、時間変化に応じて属性値が変化する第１の属性に関する属性値が所定の属性値に該当すると算出された提供者を要素とする第１の提供者群に含まれる各提供者の公開情報から１又は複数のキーワードを抽出し、
新たな公開情報について、前記１又は複数のキーワードに含まれる各キーワードに基づいて、対応するキーワードを含む公開情報の提供者群をそれぞれ形成して、１又は複数の提供者群を形成し、
前記１又は複数の提供者群のうち、前記第１の属性とは異なる属性の属性値の分布が、前記第１の提供者群と所定の類似関係にある提供者群を特定し、
特定した前記提供者群に含まれる提供者のうち、前記第１の属性に関する属性値が前記所定の属性値に該当すると算出された提供者を用いて前記第１の提供者群に対応する新しい提供者群を形成する、
処理をコンピュータを用いて実行することを特徴とする群形成方法。
【請求項２】
時間経過で属性が変化する調査対象が公開するデータを収集するデータ収集方法であって、
前記調査対象の母集団に対して不足した第１属性を有する調査対象の前記データを検索するキーワードを、該第１属性とは異なる第２属性の分布に基づいて作成し、
前記キーワードを用いて収集したデータの調査対象の前記第１属性を推測し、
推測した前記第１属性を参照して、前記母集団において補充する調査対象を、前記不足の第１属性を有すると推測した調査対象で補充する
処理をコンピュータが実行するデータ収集方法。
【請求項３】
前記母集団に対して不足した第１属性を有する調査対象の前記第２属性の母集団分布を計算し、
収集した前記データから前記第２属性の収集データ分布を計算し、
前記収集データ分布と前記母集団分布との分布差が閾値内となるまで、前記補充する第１属性に係るキーワードの数を増やす
処理を前記コンピュータが実行することを特徴とする請求項２記載のデータ収集方法。
【請求項４】
前記母集団からランダムに第１調査対象集合と第２調査対象集合とを生成し、
前記第１調査対象集合の前記第２属性の第１分布を計算し、
前記第２調査対象集合の前記第２属性の第２分布を計算し、
前記第１分布と前記第２分布との差を計算することにより前記閾値を取得する
処理を前記コンピュータが実行することを特徴とする請求項３記載のデータ収集方法。
【請求項５】
前記キーワードでＯＲ検索した前記データの調査対象を新規調査対象候補とし、
前記新規調査対象候補の第１属性を推定し、
推定した前記第１属性に基づいて、前記新規調査対象候補から前記補充する第１属性の可能性の高い順に前記母集団を補充する
処理を前記コンピュータが実行することを特徴とする請求項４記載のデータ収集方法。
【請求項６】
時間経過で属性が変化する調査対象が公開するデータを収集するデータ収集装置であって、
前記調査対象の母集団に対して不足した第１属性を有する調査対象の前記データを検索するキーワードを、該第１属性とは異なる第２属性の分布に基づいて作成する作成部と、
前記キーワードを用いて収集したデータの調査対象の前記第１属性を推測する推測部と、
推測した前記第１属性を参照して、前記母集団において補充する調査対象を、前記不足の第１属性を有すると推測した調査対象で補充するサンプリング部と
を有するデータ収集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ収集技術に関する。
【背景技術】
【０００２】
近年、学生、主婦、有職者等の様々な層の多くのユーザが、日常生活で感じたこと、ものごとに対する考え方、情報交換等でＷｅｂ（World Wide Web）を利用している。Ｗｅｂを利用するユーザ数の多さから、商品開発のためにＷｅｂを用いて市場の動向等を調査する場合がある。
【０００３】
調査対象とするユーザを抽出するために、ユーザ属性及び検索ログに検索の条件を含むユーザを抽出する技術、ユーザの投稿活動に関する数値情報を用いて分析における有意性を示す度合を計算し、計算した度合に基づいてアクティブユーザを抽出する技術等が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０８１１９号公報
【特許文献２】特開２０１２−２１６１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
Ｗｅｂのユーザが自発的に意見等を公開する例として、ブログ（Blog：Web log）がある。Ｗｅｂ上のブログの内容が商品開発等の調査に利用される場合がある。商品開発の調査では、予め定めた属性毎に適切な人数をサンプリングして母集団を作成し、この母集団に属するユーザのブログを解析することで、ユーザの生活者としての実態を把握する。
【０００６】
ユーザは、学生から有職者に変化して行くように、時間の経過によって母集団におけるユーザの属性が変化する。また、ユーザがブログの更新を停止、又は、ブログを中止することもある。
【０００７】
一方、市場における商品の動向を調査する場合、属性の割合を一定に保たなければ過去の調査結果との比較を精度良く行えない。従って、上述したような変化に対応するため、母集団における属性の割合を一定に保つためには、属性が変化したユーザを母集団から除き、同じ属性の新たなユーザを母集団に補充することになる。
【０００８】
しかしながら、上述した調査時にユーザの抽出を効果的に行う従来技術では、時間経過におけるユーザの属性変化に応じて、母集団における属性割合を一定に保つことは困難である。
【０００９】
したがって、１つの側面では、本発明は、調査対象の母集団における属性比率を考慮した集団形成を行うことを目的とする。
【課題を解決するための手段】
【００１０】
一態様によれば、公開情報の提供者についての属性であって、時間変化に応じて属性値が変化する第１の属性に関する属性値が所定の属性値に該当すると算出された提供者を要素とする第１の提供者群に含まれる各提供者の公開情報から１又は複数のキーワードを抽出し、新たな公開情報について、前記１又は複数のキーワードに含まれる各キーワードに基づいて、対応するキーワードを含む公開情報の提供者群をそれぞれ形成して、１又は複数の提供者群を形成し、前記１又は複数の提供者群のうち、前記第１の属性とは異なる属性の属性値の分布が、前記第１の提供者群と所定の類似関係にある提供者群を特定し、特定した前記提供者群に含まれる提供者のうち、前記第１の属性に関する属性値が前記所定の属性値に該当すると算出された提供者を用いて前記第１の提供者群に対応する新しい提供者群を形成する、処理をコンピュータを用いて実行する群形成方法が提供される。
【００１１】
また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。
【発明の効果】
【００１２】
調査対象の母集団における属性比率を考慮した集団形成を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施例に係るシステム構成例を示す図である。
【図２】データ収集装置のハードウェア構成を示す図である。
【図３】参照分布の例を示す図である。
【図４】データ収集装置の機能構成例を示す図である。
【図５】事前準備されるＤＢ及びテーブルのデータ例を示す図（その１）である。
【図６】事前準備されるＤＢ及びテーブルのデータ例を示す図（その２）である。
【図７】事前準備されるＤＢ及びテーブルのデータ例を示す図（その３）である。
【図８】母集団からランダムに選択したユーザ集合のデータ例を示す図である。
【図９】新規ユーザ候補集合のデータ構成例を示す図である。
【図１０】ユーザ毎キーワードテーブルのデータ構成例を示す図である。
【図１１】ユーザ毎推定属性値テーブルのデータ構成例を示す図である。
【図１２】新規ユーザリストのデータ例を示す図である。
【図１３】新規ユーザ補充処理を説明するためのフローチャート図（その１）である。
【図１４】新規ユーザ補充処理を説明するためのフローチャート図（その２）である。
【図１５】ランダムユーザ集合の非調整属性スコア分布例を示す図である。
【図１６】母集団と不足の職業属性値の非調整属性スコア分布例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１５】
図１は、本実施例に係るシステム構成例を示す図である。図１において、システム１０００は、データ収集装置１００と、１以上のブログサーバ３と、ブロガー端末９とを有する。
【００１６】
データ収集装置１００は、ネットワークを介して１以上のブログサーバ３に接続し、ブログ３ａの検索し、ブログ３ａを収集する。データ収集装置１００は、ブログ３ａの収集において信頼性の高いデータ集合を提供する。
【００１７】
データ収集装置１００によって提供されるデータ集合は、例えば、市場におけるユーザの商品に対する嗜好等の商品開発に参考となる情報を抽出することを目的とした集合体である。
【００１８】
各ブログサーバ３は、ブログ用の種々の管理機能を有し、ブロガー（ユーザ）にブログ用の記憶領域を提供するサーバである。
【００１９】
ブロガー端末９は、ブロガーによって利用される端末であり、ブログサーバ３のサービスを利用してブログ３ａを作成、更新、削除等を行う。
【００２０】
図２は、データ収集装置のハードウェア構成を示す図である。図２において、データ収集装置１００は、コンピュータによって制御される端末であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、入力装置１４と、表示装置１５と、通信Ｉ／Ｆ（インターフェース）１７と、ドライブ装置１８とを有し、バスＢに接続される。
【００２１】
ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従ってデータ収集装置１００を制御する。主記憶装置１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。
【００２２】
補助記憶装置１３には、ＨＤＤ（Hard Disk Drive）等が用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置１３に格納されているプログラムの一部が主記憶装置１２にロードされ、ＣＰＵ１１に実行されることによって、各種処理が実現される。記憶部１３０は、主記憶装置１２及び／又は補助記憶装置１３を有する。
【００２３】
入力装置１４は、マウス、キーボード等を有し、ユーザがデータ収集装置１００による処理に必要な各種情報を入力するために用いられる。表示装置１５は、ＣＰＵ１１の制御のもとに必要な各種情報を表示する。通信Ｉ／Ｆ１７は、有線又は無線などのネットワークを通じて通信を行う。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。 
データ収集装置１００によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１９によってデータ収集装置１００に提供される。
【００２４】
ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ＣＤ−ＲＯＭ等）とデータ収集装置１００とのインターフェースを行う。
【００２５】
また、記憶媒体１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１９に格納されたプログラムは、ドライブ装置１８を介してデータ収集装置１００にインストールされる。インストールされたプログラムは、データ収集装置１００により実行可能となる。
【００２６】
尚、プログラムを格納する媒体としてＣＤ−ＲＯＭに限定するものではなく、コンピュータが読み取り可能な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
【００２７】
市場調査等にブログを利用するために、まず、ユーザをサンプリングした母集団を適切に作成する。即ち、母集団におけるユーザの属性の割合が、国内の人口分布等のデータで示される属性の割合と同様になるように、母集団を作成する。例えば、性別と職業とを属性とする人口分布を参照し、各属性における割合が同じになるようなサンプル数を決定する。以下、母集団の作成時に参照されるサンプル数の分布を「参照分布」と言う。
【００２８】
図３は、参照分布の例を示す図である。図３において、参照分布１は、性別と職業とを属性としたマトリクスでサンプル数を示したテーブルである。性別の属性値は、「男性」又は「女性」である。職業の属性値は、「中高生」、「大学生」、「有職者」、「主婦」、「シニア」、「その他」等である。例えば、参照分布１では、男女の比率、職業の比率等が略一致するように設定されている。この参照分布１に基づいて、母集団が作成される。
【００２９】
本実施例では、参照分布１に基づいて、同様の属性の割合で母集団を作成し、時間経過に伴い母集団から除外されるユーザが出現した場合、そのユーザと同じ属性値を持つ可能性の高いユーザを見つけて、母集団を補充する。
【００３０】
中高生だったユーザが大学生になる等により、ユーザの属性が変化する。また、ブログ更新を停止するユーザの存在する。ユーザの属性は、ユーザの投稿記事に対してモデルを適用することで推定できる。このようなモデルは、文書分類技術の応用で作成可能である。
【００３１】
モデルは、記事中に書かれた語句とその頻度とに基づいて、ユーザを分類するものである。このモデルを用いることで、「部活」という語句が書かれていれば中高生である確率を上昇させる。この手法では、各ユーザについて複数の記事を収集する必要がある。
【００３２】
また、生活者の実態を継続的に観察するためにユーザの入れ替わりで、全く別の傾向がでるようになってしまうと生活者の実態が急に変わったように誤検知してしまう。生活者の実態を精度良く調査するには、補充するユーザは、母集団から除いたユーザと同じような傾向を持った投稿をするユーザを選択することが望ましい。
【００３３】
ランダムサンプリングの一例として、以下の手順で行うことが考えられる。
１．サンプリング変更前における、各属性値のユーザ集合における語句の出現頻度分布Ｐallを求める。
２．ランダムに選択した新たなユーザについて、投稿を収集する。
３．ユーザの語句の出現分布Ｐuと、推定属性値とを求める。
４．ＰallとＰuの類似度が閾値以上、且つ、推定属性値が不足セルに一致していれば、そのユーザを新規ユーザとして採用する。
５．上記２．から４．を繰り返し、不足ユーザ数分だけ新規ユーザの採用が済めば終了すうる。
【００３４】
この例では、ランダムに選択したユーザが採用される確率が低く、収集回数が多くなるために、収集回数制限によって十分なユーザ数を獲得できない可能性がある。このようにランダムサンプリングでは補充したい属性値（例えば、中高生）のユーザだけを収集できず、非効率である。
【００３５】
本実施例に係るデータ収集装置１００では、収集対象のユーザをランダムに選択するのではなく、補充したいユーザに特徴的なキーワードを含む記事を一度以上投稿したユーザのみを補充の対象とする。
【００３６】
キーワードをランダムに設定した場合、特定の話題の記事ばかりを投稿しているようなユーザが収集されてしまい、結果として生活者の実態を反映するような母集団にならなくなってしまう。
【００３７】
そのため、本実施例では、収集対象ユーザの投稿内容の傾向が時間経過により偏る「バイアス」を回避するようにキーワードを設定する。キーワードは、以下の（１）及び（２）を満たすように設定する。
（１）ユーザ毎に前述した参照分布１の属性を推定する推定モデルにおいて、獲得したい属性値（例えば、中高生）に分類しやすい重要語句を上位から順にキーワードとして追加していく。
【００３８】
上記（１）により、ユーザの推定結果が獲得したい属性値に一致する可能性が高まり、収集回数を抑えられる。
（２）投稿内容傾向のバイアスを、サンプリング数を調整しない属性、即ち、参照分布１で示した性別、職業等以外の属性（以下、「非調整属性」と言う。）の分布により定義し、サンプリング見直し前後でその差が小さくなるようにキーワードを設定する。
【００３９】
調整属性は、性別、職業等の調査対象となる属性であり、非調整属性は調査対象としない属性である。非調整属性としては、例えば、趣味属性等がある。趣味属性は、グルメ、映画等５０以上存在する。その属性値が他のデモグラフィックな属性に比べて多く、数の調整が困難である。
【００４０】
また、経験的に、趣味属性に注目することで投稿内容傾向が類似したユーザを抽出できることが予備実験により明らかになっている。
【００４１】
また、生活者の実態を抽出するシステムにおいては趣味属性が有用であるが、対象のシステムでは、他の属性を用いて同様の解決を図ることも可能である。他の属性の例として、防災関連の調査を行う場合に、東京都、大阪府等の居住地を属性としても良い。
【００４２】
図４は、データ収集装置の機能構成例を示す図である。図４中、実線は入力を示し、破線は出力を示す。
【００４３】
図４において、データ収集装置１００は、基本データ収集部４１と、ユーザ集合作成部４２と、スコア分布閾値計算部４３と、キーワードリスト作成部４４と、収集部４５と、属性推定部４６と、サンプリング部４７とを有する。
【００４４】
また、記憶部１３０の事前準備領域３０には、ブログＤＢ３１、職業分類テーブル３２、スコアテーブル３３、職業推定モデル３４、キーワード対ユーザテーブル３５等が記憶されている。更に、記憶部１３０は、第１ランダムユーザ集合５１、第２ランダムユーザ集合５２、許容誤差閾値５３、検索キーワードリスト５４、新規ユーザ候補集合５５、ユーザ毎キーワードテーブル５６、ユーザ毎推定属性値テーブル５７、新規ユーザリスト５８等を記憶する。
【００４５】
基本データ収集部４１は、参照分布１に基づいて、属性の割合に応じて、ブログサーバ３からユーザを検索して母集団３１を作成する。また、基本データ収集部４１は、母集団１に含まれる各ユーザのブログ３ａをブログサーバ３から取得して、ブログＤＢ３２に格納する。
【００４６】
ユーザ集合作成部４２は、基本データ収集部４１によって取得した母集団３１からランダムに２つのユーザ集合を作成する。各々のユーザ集合に含まれるユーザを識別するユーザＩＤが、第１ランダムユーザ集合５１又は第２ランダムユーザ集合５２のいずれかに記録される。
【００４７】
スコア分布閾値計算部４３は、ユーザ集合作成部４２が作成した２つのユーザ集合に対して、趣味属性毎にスコア分布を計算し、２つのスコア分布の比較によって許容誤差閾値５３を求める。スコア分布を計算する際には、スコアテーブル３３が参照される。
【００４８】
キーワードリスト作成部４４は、各属性に属する確からしさを高める１以上のキーワードを設定して、趣味属性値のスコア分布が許容誤差閾値５３以内となるキーワードのリストを作成する。
【００４９】
ある属性に属する確からしさとは、例えば、「中高生らしさ」等を意味する。キーワードを複数にすることによって、ある属性に属する確からしさを高めることができる。確からしさは、職業推定モデル３４を参照して判断する。趣味属性のスコア分布の計算では、キーワード対ユーザテーブル３５が参照される。
【００５０】
キーワードリスト作成部４４によって、ブログ３ａの記事内容を検索するためのキーワードを示す検索キーワードリスト５４が作成される。
【００５１】
収集部４５は、検索キーワードリスト５４のキーワードを用いて、不足したユーザと同様の属性を有するユーザによるブログ３ａをブログサーバ３から検索して、ブログ３ａを収集する。収集部４５は、収集したブログ３ａのユーザを新規ユーザ候補とし、そのユーザＩＤを示す新規ユーザ候補集合５５を記憶部１３０に格納する。
【００５２】
また、収集部４５は、新規ユーザ候補毎に検索キーワードリスト５４のキーワードの出現回数をカウントする。新規ユーザ候補毎に検索に使用したキーワードの出現回数を記録したユーザ毎キーワードテーブル５６が記憶部１３０に格納される。
【００５３】
属性推定部４６は、収集したブログ３ａの記事に職業推定モデル３４を適用して各ユーザの職業を推定する。ユーザ毎に、推定した属性値を対応付けたユーザ毎推定属性値テーブル５７が記憶部１３０に格納される。
【００５４】
次に、記憶部１３０に格納されるテーブル等について説明する。図５から図７は、事前準備されるＤＢ及びテーブルのデータ例を示す図である。図５において、母集団に含まれるユーザに関するデータ構成例を示す。
【００５５】
母集団３１は、ユーザＩＤ毎に職業を対応付けたテーブルである。ユーザＩＤは、母集団３１内でユーザを一意に特定するための識別子であり、後述されるＤＢ及びテーブルにおいても同様である。職業は、ブログ３ａの記事から推定したユーザの職業である。職業の属性値として、図３の参照分布１の職業の属性値が用いられる。
【００５６】
ブログＤＢ３２は、ユーザＩＤ毎にブログ３ａの記事データを対応付けたテーブルである。ブログ記事には、ブログサーバ３から取得したブログ３ａを記憶する、或いは、ブログ３ａを記憶した領域へのアドレスを示す。
【００５７】
スコアテーブル３３は、ユーザＩＤ毎に趣味スコアを対応付けたテーブルである。趣味属性値は、「グルメ」、「映画」、・・・「野球」等であり、ユーザＩＤ毎に各趣味属性値に対して趣味スコアが示されている。趣味スコアは、１に近づくほど興味があることを示し、０に近づくほど興味がないことを示す。
【００５８】
例えば、ユーザＩＤ「00003」のユーザは、「映画」の趣味スコア「１．０」から「映画」に興味を持っていることが明らかであり、ユーザＩＤ「00002」のユーザは、「グルメ」の趣味スコア「０．０」から「グルメ」の全く興味がないことが分かる
図６は、職業推定モデルのデータ構成例を示す図である。図６において、職業推定モデル３４は、キーワード毎に職業スコアを対応付けたテーブルである。職業属性値は、参照分布１の属性値に相当し、「中高生」、・・・「その他」であり、キーワード毎に各職業属性値に対して職業スコアが示されている。職業スコアは、１に近づくほど職業属性値の可能性が高いことを示し、０に近づくほど職業値と相関がない、−１に近付くほど職業値の可能性が低く他の職業値である可能性が高いことを示す。
【００５９】
例えば、キーワード「部活」がブログ３ａに出現する場合は、その職業スコアから、ブログ３ａの作成者（ブロガー）であるユーザが中高生である可能性を「０．５」ポイント、その他の職業である可能性を「０．０１」ポイント上昇させることを示している。
【００６０】
図７は、キーワード対ユーザテーブルのデータ構成例を示す図である。図７において、キーワード対ユーザテーブル３５は、キーワード毎に、ユーザＩＤのリストを対応付けたテーブルである。各キーワードは、検索時に用いた複数のキーワードである。キーワードに対応付けて、そのキーワードが出現したブログ３ａのユーザのＩＤが示されている。例えば、キーワード「部活」の場合、ユーザＩＤ「00002」、「00383」等が対応付けられる。
【００６１】
図８は、母集団からランダムに選択したユーザ集合のデータ例を示す図である。図８において、ユーザ集合作成部４２によって作成された第１ランダムユーザ集合５１及び第２ランダムユーザ集合５２は、夫々、母集団３１からランダムに選択したユーザＩＤが記録されている。
【００６２】
第１ランダムユーザ集合５１及び第２ランダムユーザ集合５２と、ユーザ毎の非調整属性のスコアテーブル３３とは、ユーザＩＤで関連付けが可能である。ユーザＩＤに対応する各趣味属性値の趣味スコア（スコア分布）は、スコアテーブル３３から取得できる。
【００６３】
第１ランダムユーザ集合５１及び第２ランダムユーザ集合５２は、許容誤差閾値５３を算出するために、スコア分布閾値計算部４３によって使用される。
【００６４】
図９は、新規ユーザ候補集合のデータ構成例を示す図である。図９において、新規ユーザ候補集合５５は、収集部によって収集されたブログ３ａのユーザのＩＤを示すリストである。
【００６５】
図１０は、ユーザ毎キーワードテーブルのデータ構成例を示す図である。図１０において、ユーザ毎キーワードテーブル５６は、新規ユーザ候補集合５５のユーザＩＤ毎に、ブログ３ａに出現したキーワードと、出現回数とを対応付けたテーブルであり、ユーザＩＤ、キーワード等の項目を有する。
【００６６】
キーワードには、ユーザの最新１０記事を収集した結果が示され、出現したキーワードと出現回数とが示される。
【００６７】
例えば、ユーザＩＤ「00002」に対して、キーワード「部活x3, 友達x2, ゲームx5, ・・・」が示される。キーワード「部活」が３回出現し、キーワード「友達」が２回出現し、キーワード「ゲーム」が５回出現した等が示されている。
【００６８】
図１１は、ユーザ毎推定属性値テーブルのデータ構成例を示す図である。図１１において、ユーザ毎推定属性値テーブル５７は、新規ユーザ候補集合５４で示されるユーザＩＤ毎に、各職業属性値の推定値と、推定属性とを対応付けたテーブルである。
【００６９】
職業属性値は、図３の参照分布１で示される「中高生」、・・・「その他」である。各職業属性値に対して、属性推定部４６が推定した推定値が示される。推定値は、高い値であるほど職業として可能性が高いことを示し、低い値であるほど職業として可能性が低いことを示す。推定属性は、各職業属性値の推定値から最も高い値を示す職業属性値を示す。
【００７０】
図１２は、新規ユーザリストのデータ例を示す図である。図１２において、新規ユーザリスト５８は、不足している職業属性値に対して作成されるリストであり、母集団３１において、新規ユーザとして補充するユーザＩＤのリストを示す。
【００７１】
例えば、職業属性値「中高生」に対して、ユーザＩＤ「00002」、「00383」、「00876」、・・・等が新規ユーザとして補充されることを示している。
【００７２】
次に、本実施例に係る新規ユーザ補充処理について説明する。図１３及び図１４は、新規ユーザ補充処理を説明するためのフローチャート図である。図１３及び図１４において、不足属性値が職業属性値「中高生」である場合で説明する。他職業属性値でも同様の処理となる。
【００７３】
図１３において、ユーザ集合作成部４２は、ユーザ毎の非調整属性のスコアテーブル３３から２つのランダムユーザ集合ｕ１及びｕ２を作成する。ここでは、ユーザ集合ｕ１及びｕ２は、母集団３１を参照して、職業が「中高生」を示すユーザＩＤの中からランダムに抽出されたユーザＩＤの集合とする。ランダムユーザ集合ｕ１のユーザＩＤは、第１ランダムユーザ集合５１に相当し、ランダムユーザ集合ｕ２のユーザＩＤは、第２ランダムユーザ集合５２に相当する。
【００７４】
次に、スコア分布閾値計算部４３は、不足属性値の非調整属性のスコア分布Ｄorigを計算する（ステップＳ１２）。スコア分布Ｄorigは、数１及び数２で算出できる。
【００７５】
【数１】
2015166916.tif 000003
ｈ１〜ｈｍは、趣味属性値「グルメ」、「映画」、・・・「野球」等に相当する。
【００７６】
【数２】
2015166916.tif 000004
【００７７】
また、スコア分布閾値計算部４３は、非調整属性スコア分布Ｄｕ１とＤｕ２とを比較して、許容誤差閾値θ＝Ｄiff（Ｄｕ１、Ｄｕ２）を求める（ステップＳ１３）。上記数１及び数２を２つのランダムユーザ集合ｕ１及びｕ２の各々に適用して、非調整属性スコア分布Ｄｕ１及びＤｕ２を計算する。許容誤差閾値θは、非調整属性スコア分布Ｄｕ１とＤｕ２との差によって求められる。許容誤差閾値θは、許容誤差閾値５３に相当する。
【００７８】
スコア分布閾値計算部４３は、各趣味ｈについて、各スコアｓのユーザ数割合ｒu,h・sの差の２乗和（数３）により計算する。
【００７９】
【数３】
2015166916.tif 000005
図１５に、趣味属性値「グルメ」と「映画」の各々に関して、職業属性値「中高生」の場合の、ランダムユーザ集合ｕ１とｕ２の非調整属性スコア分布例を示す。図１５中、横軸に趣味に対する興味の度合を趣味スコアで示し、縦軸にユーザ数割合を示している。
【００８０】
図１５において、趣味属性値「グルメ」（ｈ１とする）に関して、ランダムユーザ集合ｕ１の非調整属性スコア分布をｄu1,h1で示し、ランダムユーザ集合ｕ２の非調整属性スコア分布をｄu2,h1で示している。
【００８１】
同様に、趣味属性値「グルメ」（ｈ２とする）に関して、ランダムユーザ集合ｕ１の非調整属性スコア分布をｄu1,h2で示し、ランダムユーザ集合ｕ２の非調整属性スコア分布をｄu2,h2で示している。よって、数３により、趣味属性値毎の差の２乗和の合計を計算して許容誤差閾値θを得る。
【００８２】
図１３に戻り、ステップＳ１４からＳ２０がキーワードリスト作成部４４での処理に相当する。ステップＳ１４からＳ２０での処理により、許容誤差閾値θを用いて、母集団３１の非調整属性である職業属性値の分布と同様になるようにキーワードを決定する。先ず、キーワードリスト作成部４４は、変数ｉをゼロに初期化する（ステップＳ１４）。
【００８３】
キーワードリスト作成部４４は、変数ｉを１インクリメントして（ステップＳ１５）、変数ｉが語彙数以上となったか否かを判断する（ステップＳ１６）。語彙数は、職業推定モデル３４で保持するキーワードの値「部活」、「テスト」等の総数以下であれば良い。変数ｉが語彙数以上の場合、キーワードリスト作成部４４は、図１４のステップＳ２１へと進む。
【００８４】
変数ｉが語彙数未満である場合、キーワードリスト作成部４４は、職業推定モデル３４から、獲得したい職業属性値の分類に有用なキーワードを上位ｉ個の集合Ｔｉを抽出する（ステップＳ１７）。「獲得したい職業属性値の分類に有用なキーワード」とは、例えば、「中高生らしさ」を高めるキーワードである。職業推定モデル３４から職業属性値「中高生」の値が高い順に上位ｉ個が抽出される。
【００８５】
キーワードリスト作成部４４は、集合Ｔｉのキーワードのいずれかを含んだ記事を投稿したユーザを、ブログＤＢ３２に保持しているブログ記事から抽出して、非調整属性のスコア分布Ｄｉを求める（ステップＳ１８）。
【００８６】
ステップＳ１８において、キーワードリスト作成部４４は、キーワード対ユーザテーブル３５を参照して、集合Ｔｉのキーワードのいずれかを含んだ記事を投稿したユーザを抽出して、趣味属性のスコア分布Ｄｉを求める。
【００８７】
次に、キーワードリスト作成部４４は、母集団３１の分布Ｄorigと不足の職業属性値の分布Ｄｉとの分布差Ｄiff（Ｄorig，Ｄｉ）を求める（ステップＳ１９）。分布差Ｄiff（Ｄorig，Ｄｉ）は、分布Ｄorigと分布Ｄｉとに対して数３を適用すれば良い。
【００８８】
そして、キーワードリスト作成部４４は、ステップＳ１９で求めた分布差Ｄiff（Ｄorig，Ｄｉ）がステップＳ１３で求めたθ未満であるか否かを判断する（ステップＳ２０）。分布差Ｄiff（Ｄorig，Ｄｉ）がθ以上である場合、キーワードリスト作成部４４は、未だ母集団３１の職業属性値の割合に近づいていないと判断して、ステップＳ１５へと戻り、更にｉ個目のキーワードを追加して、上記同様の処理を繰り返す。一方、分布差Ｄiff（Ｄorig，Ｄｉ）がθ未満となった場合、キーワードリスト作成部４４は、図１４のステップＳ２１へと進む。
【００８９】
図１６に、趣味属性値「グルメ」と「映画」の各々に関して、母集団３１と不足の職業属性値「中高生」の非調整属性スコア分布例を示す。図１６中、横軸に趣味に対する興味の度合を趣味スコアで示し、縦軸にユーザ数割合を示している。
【００９０】
図１６において、趣味属性値「グルメ」（ｈ１とする）に関して、母集団３１の非調整属性スコア分布をｄorig,h1で示し、不足の職業属性値「中高生」の非調整属性スコア分布をｄi,h1で示している。
【００９１】
同様に、趣味属性値「グルメ」（ｈ２とする）に関して、母集団３１の非調整属性スコア分布をｄorig,h2で示し、不足の職業属性値「中高生」の非調整属性スコア分布をｄi,h2で示している。よって、数３を適用することで、趣味属性値毎の差の２乗和の合計を計算して分布差Ｄiff（Ｄorig，Ｄｉ）を得る。
【００９２】
このような処理を、職業推定モデル３４（図６）の職業属性値「高校生」の推定値が高い順に、キーワードを検索キーワード集合Ｔｉに追加する毎に行う。職業推定モデル３４（図６）より、１回目は、検索キーワード集合Ｔ１＝｛部活｝で行う。２回目は、検索キーワード集合Ｔ２＝｛部活、テスト｝で行う。３回目は、検索キーワード集合Ｔ３＝｛部活、テスト、クラス｝で行う。４回目は、検索キーワード集合Ｔ４＝｛部活、テスト、クラス、学校｝で行う。
【００９３】
４回目の処理で、分布差Ｄiff（Ｄorig，Ｄｉ）がθ未満となったときに、キーワードリスト作成部４４は、ステップＳ１５〜Ｓ２０の繰り返し処理を終了する。キーワードリスト作成部４４による処理は、図１４のステップＳ２１へと続く。
【００９４】
図１４において、キーワードリスト作成部４４は、検索キーワードリスト５４を表示装置１５に表示させ、データ収集装置１００の管理者にキーワードを選定させる（ステップＳ２１）。例えば、検索キーワード集合Ｔ４＝｛部活、テスト、クラス、学校｝が選択可能なように表示装置１５に表示され、管理者によって選定されたキーワードが検索キーワードリスト５４に記憶される。検索キーワードリスト５４は、管理者によって選定された検索キーワード集合Ｔ４の一部又は全部を含み、管理者が新たにキーワードを追加することを許容する。
【００９５】
例えば、集合Ｔｉ＝｛部活、テスト、クラス、学校｝において、管理者は「テスト」というキーワードは中高生以外も「投稿テスト」、「プログラムのテスト」等の投稿時に用いるため、職業属性値「中高生」の収集に不適切であると判断した場合、集合Ｔｉ＝｛部活、クラス、学校｝としても良い。
【００９６】
収集部４５は、選定された検索キーワードリスト５４を用いて、ブログサーバ３からブログ記事をＯＲ検索し、候補ユーザを決定する（ステップＳ２２）。検索キーワードリスト５４内のいずれかのキーワードを含むブログ記事が検索される。検索されたブログ記事のユーザを候補ユーザとして決定する。決定したユーザのＩＤを示す新規ユーザ候補リスト５５が記憶部１３０に作成される。
【００９７】
収集部４５は、ブログサーバ３から候補ユーザについて、最新１０記事を収集して、ユーザ毎にキーワードをカウントする（ステップＳ２３）。即ち、収集部４５は、ユーザＩＤ毎に、関連付けられるブログ記事内をキーワードで検索してカウントして、ユーザ毎キーワードテーブル５６を記憶部１３０に作成する。
【００９８】
属性推定部４６は、ユーザ毎キーワードテーブル５６を用いて、収集したブログ記事に職業推定モデル３４を適用してユーザ毎推定属性値テーブル５７を記憶部１３０に作成する（ステップＳ２４）。属性推定部４６は、作成したユーザ毎推定属性値テーブル５７において、ユーザＩＤ毎に最も推定値の高い職業属性値を特定し、ユーザの職業であると判断して、ユーザ毎推定属性値テーブル５７の推定属性に設定する。
【００９９】
図１１の例では、ユーザＩＤ「00002」に対しては、職業属性値「中高生」の推定値「０．５３」が最も高い値を示すため、ユーザＩＤ「00002」に対応付けて推定属性に「中高生」が設定される。ユーザＩＤ「00014」に対しては、推定属性に「その他」が設定される。ユーザＩＤ「00383」に対しては、推定属性に「中高生」が設定される。
【０１００】
そして、サンプリング部４７は、対象の職業属性値を有すると推定されたユーザの中から、不足分をランダムにサンプリングして母集団３１に追加する（ステップＳ２５）。
【０１０１】
例えば、職業属性値「中高生」が不足している場合、サンプリング部４７は、ユーザ毎推定属性値テーブル５７において推定属性に職業属性値「中高生」が設定されたユーザＩＤを抽出して、新規ユーザリスト５８（図１２）を記憶部１３０に作成する。サンプリング部４７は、新規ユーザリスト５８を用いて母集団３１を補充する。
【０１０２】
上述したように、本実施例に係るデータ収集装置１００において、調査対象の母集団の属性割合を一定に保ちつつ、不足している職業属性値を有するユーザを補充することができる。
【０１０３】
本実施例では、収集対象のユーザをランダムに選択するのではなく、補充したいユーザに特徴的なキーワードを含むブログ記事を一度以上投稿したユーザのみとすることができる。
【０１０４】
キーワードをランダムに設定する技術では、特定の話題のブログ記事ばかりを投稿しているようなユーザが収集されてしまい、結果として生活者の実態を反映するような母集団にならなくなると言った問題がある。本実施例では、収集対象ユーザの投稿内容傾向がバイアスを回避するようにキーワードを設定するため、調査対象の母集団の属性割合を一定に保つことができる。従って、上述した課題を解決することができる。
【０１０５】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【０１０６】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
公開情報の各提供者についての属性であって、時間変化に応じて属性値が変化する第１の属性に関する属性値が所定の属性値に該当すると算出された提供者を含む第１の提供者群の公開情報から複数のキーワードを抽出し、
前記複数のキーワードに含まれる各キーワードについて、対応するキーワードを含む公開情報の提供者群をそれぞれ形成して、第１の提供者群セットを形成し、
新たな公開情報について、前記複数のキーワードに含まれる各キーワードに基づいて、対応するキーワードを含む公開情報の提供者群をそれぞれ形成して、第２の提供者群セットを形成し、
前記第１の提供者群セットに含まれる各提供者群と同じキーワードを用いて形成された前記第２の提供者群セットに含まれる各提供者群のうち、前記第１の属性とは異なる属性の属性値の分布が所定の類似関係を示す提供者群を特定し、
特定した前記提供者群に含まれる提供者のうち、推定される前記第１の属性に関する属性値が前記所定の属性値に該当すると算出された提供者を用いて前記第１の提供者群に対応する新しい提供者群を形成する、
処理をコンピュータを用いて実行することを特徴とする群形成方法。
（付記２）
時間経過で属性が変化する調査対象が公開するデータを収集するデータ収集方法であって、
前記調査対象の母集団に対して不足した第１属性を有する調査対象の前記データを検索するキーワードを、該第１属性とは異なる第２属性の分布に基づいて作成し、
前記キーワードを用いて収集したデータの調査対象の前記第１属性を推測し、
推測した前記第１属性を参照して、前記母集団において補充する調査対象を、前記不足の第１属性を有すると推測した調査対象で補充する
処理をコンピュータが実行するデータ収集方法。
（付記３）
前記母集団に対して不足した第１属性を有する調査対象の前記第２属性の母集団分布を計算し、
収集した前記データから前記第２属性の収集データ分布を計算し、
前記収集データ分布と前記母集団分布との分布差が閾値内となるまで、前記補充する第１属性に係るキーワードの数を増やす
処理を前記コンピュータが実行することを特徴とする付記２記載のデータ収集方法。
（付記４）
前記母集団からランダムに第１調査対象集合と第２調査対象集合とを生成し、
前記第１調査対象集合の前記第２属性の第１分布を計算し、
前記第２調査対象集合の前記第２属性の第２分布を計算し、
前記第１分布と前記第２分布との差を計算することにより前記閾値を取得する
処理を前記コンピュータが実行することを特徴とする付記３記載のデータ収集方法。
（付記５）
前記キーワードでＯＲ検索した前記データの調査対象を新規調査対象候補とし、
前記新規調査対象候補の第１属性を推定し、
推定した前記第１属性に基づいて、前記新規調査対象候補から前記補充する第１属性の可能性の高い順に前記母集団を補充する
処理を前記コンピュータが実行することを特徴とする付記４記載のデータ収集方法。
（付記６）
前記データはブログであることを特徴とする付記２乃至５のいずれか一項記載のデータ収集方法。
（付記７）
前記第１属性は、中高生、大学生、有職者、主婦、シニアのうち少なくとも１以上を属性値とする、前記母集団において一定の比率で保たれる職業属性であることを付記２乃至５のいずれか一項記載のデータ収集方法。
（付記８）
前記第２属性は、前記調査対象の嗜好性に係る少なくとも１以上を属性値とする趣味属性であることを付記２乃至７のいずれか一項記載のデータ収集方法。
（付記９）
時間経過で属性が変化する調査対象が公開するデータを収集するデータ収集装置であって、
前記調査対象の母集団に対して不足した第１属性を有する調査対象の前記データを検索するキーワードを、該第１属性とは異なる第２属性の分布に基づいて作成する作成部と、
前記キーワードを用いて収集したデータの調査対象の前記第１属性を推測する推測部と、
推測した前記第１属性を参照して、前記母集団において補充する調査対象を、前記不足の第１属性を有すると推測した調査対象で補充するサンプリング部と
を有するデータ収集装置。
（付記１０）
時間経過で属性が変化する調査対象が公開するデータを収集するデータ収集プログラムであって、
前記調査対象の母集団に対して不足した第１属性を有する調査対象の前記データを検索するキーワードを、該第１属性とは異なる第２属性の分布に基づいて作成し、
前記キーワードを用いて収集したデータの調査対象の前記第１属性を推測し、
推測した前記第１属性を参照して、前記母集団において補充する調査対象を、前記不足の第１属性を有すると推測した調査対象で補充する
処理をコンピュータに実行させるデータ収集プログラム。
【符号の説明】
【０１０７】
１１          ＣＰＵ
１２          主記憶装置
１３          補助記憶装置
１４          入力装置
１５          表示装置
１６          出力装置
１７          通信Ｉ／Ｆ
１８          ドライブ
１９          記憶媒体
３０          事前準備領域
３１          ブログＤＢ
３２          職業分類テーブル
３３          スコアテーブル（ユーザ毎非調整属性）
３４          職業推定モデル
３５          キーワード対ユーザモデル
４１          基本データ収集部
４２          ユーザ集合作成部
４３          スコア分布閾値計算部
４４          キーワードリスト作成部
４５          収集部
４６          属性推定部
４７          サンプリング部
５１          第１ランダムユーザ集合
５２          第２ランダムユーザ集合
５３          許容誤差閾値
５４          検索キーワードリスト
５５          新規ユーザ候補テーブル
５６          ユーザ毎キーワードテーブル
５７          ユーザ毎推定属性値テーブル
５８          新規ユーザリスト
１００        データ収集装置
１３０        記憶部
【図１】
2015166916.tif 000006
【図２】
2015166916.tif 000007
【図３】
2015166916.tif 000008
【図４】
2015166916.tif 000009
【図５】
2015166916.tif 000010
【図６】
2015166916.tif 000011
【図７】
2015166916.tif 000012
【図８】
2015166916.tif 000013
【図９】
2015166916.tif 000014
【図１０】
2015166916.tif 000015
【図１１】
2015166916.tif 000016
【図１２】
2015166916.tif 000017
【図１３】
2015166916.tif 000018
【図１４】
2015166916.tif 000019
【図１５】
2015166916.tif 000020
【図１６】
2015166916.tif 000021