(57)【要約】      （修正有）【課題】ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価を適切に更新する評価更新装置、方法及びプログラムを提供する。【解決手段】評価システムにおいて、評価更新装置は、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表し、かつ、生成されたときからの時間が経過するほど低くなり、かつ、適切であるか否かを表す投票情報が低いほど低くなる評価情報指標が、評価情報指標に関する閾値以下となった場合に、評価対象に対する評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる投稿情報に基づいて、評価対象に対する評価情報を再度生成する評価部を含む。【選択図】図２２
2020035022.tif 000002
【特許請求の範囲】
【請求項１】
評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成する評価部
を含む評価更新装置。
【請求項２】
前記評価情報が、前記評価情報指標に関する閾値以下となった場合に、複数のユーザに対して前記投稿情報の投稿を要求する要求部を更に含む、
請求項１に記載の評価更新装置。
【請求項３】
前記評価情報指標は、前記評価情報が適切であるか否かを表す投票情報に基づき生成される前記評価情報の信頼度である、
請求項１又は請求項２に記載の評価更新装置。
【請求項４】
前記評価情報指標は、所定の領域内における前記評価情報の数に基づき生成される前記評価情報の収集度である、
請求項１又は請求項２に記載の評価更新装置。
【請求項５】
評価部を含む評価更新装置における評価更新方法であって、
前記評価部が、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成するステップ
を含む評価更新方法。
【請求項６】
コンピュータを、請求項１〜請求項４のいずれか１項に記載の評価更新装置が備える各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、評価更新装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
ある対象物に対して調査又は計測が行われ、その結果が対象物に対する評価情報として設定される場合がある。評価情報としては、例えば、評価対象の店舗に関する店舗情報、評価対象の料理の口コミ情報、及び評価対象の設備に関する設備情報等が挙げられる。
【０００３】
最近では、ＳＮＳ（Social Networking Service）等を通して様々な情報がインターネット上へ投稿又は投票されており、様々な対象物についての評価情報がインターネット上に存在する。そのため、ＳＮＳにおける投稿又は投票を利用することにより、例えば、広範囲の道路の混雑状況、店舗の評判、及び料理の評判等の評価情報を容易に参照することができる。
【０００４】
ＳＮＳにおいては、ユーザによってコンテンツが投稿される。また、コンテンツを投稿したユーザに対して他のユーザから人物評価がなされる。信頼度の高いユーザによる投稿には適切な評価情報が含まれているという仮説に基づく場合がある。また、ユーザの信頼度を、ユーザの人物評価から推定する手法が存在する。
【０００５】
例えば、Twitter（登録商標）を用いてユーザを評価する技術が知られている（例えば、非特許文献１を参照）。この技術は、ツイート数以外にフォロー数、フォロワー数、リツイート数、及びＵＲＬ付きツイート数を用いて、情報発信者であるユーザの信頼度を評価する。
【０００６】
また、Hits(Hypertext Induced Topic Selection)（登録商標）やPageRankなどのユーザ間距離に、ネットワーク上の位置情報を加味し、友人数などのＳＮＳ特有のパラメータを加えてユーザの評価を行う技術が知られている（例えば、非特許文献２を参照）。
【０００７】
また、Twitter（登録商標）のリツイート(再共有)の機能に着目し、リツイートの回数と反応速度とに着目したネットワークに基づいて、ユーザの重要度を推定する技術が知られている（例えば、非特許文献３を参照）。この技術は、hub-authorityを見つける研究に関するものである。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】佐藤 澪、「ソーシャルメディアから発信された情報の信頼度について」、[online]、会津大学短期大学部産業情報学科経営情報コース、2011年度卒業研究論文要旨集、［平成 30 年 8 月 13 日検索］、インターネット〈URL：http://www.jc.u-aizu.ac.jp/department/management/youshi/2011/09.pdf〉
【非特許文献２】大塚 孝信 他2名、「ユーザー間実距離を用いたSNSユーザー評価手法とパラメータ評価」、人工知能学会第11回知識流通ネットワーク研究会、インターネット〈URL：http://sigksn.html.xdomain.jp/conf11/SIG-KSN-011-06.pdf〉
【非特許文献３】石垣 藍睦、沼尾 雅之、「Twitter 特有のネットワーク構造を用いたユーザ重要度評価法の提案」、DEIM Forum 2016 B7-4、インターネット〈URL：http://db-event.jpn.org/deim2016/papers/302.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記非特許文献１〜３に記載されているように、ソーシャルメディアから発信された情報を評価する技術は存在する。これらの先行技術においては、ツイート数及びフォロー数等を用いて情報発信者であるユーザ自体の評価が行われる。
【００１０】
しかし、評価対象となる評価情報（例えば、各地点の状態、広範囲の道路の混雑状況、店舗の評判、及び料理の評判等）は、時間の経過に伴い変化する場合がある。
【００１１】
例えば、先行技術では、信頼度が高いユーザによって発せられた情報は信頼度が高いと評価されるが、時間の経過に伴い、発せられた情報が表す評価対象の評価情報は変化する。このため、ユーザによって過去に発せられた情報が表す評価情報は現在とは異なってしまう場合がある。
【００１２】
このため、時間の経過に従い不適切となってしまった評価情報について、適切に更新する技術が求められている。現在、スマートフォン等により誰でもいつでも簡単に投稿できるようになり、現在から過去に至る大量の投稿が蓄積されている。そこで、大量に蓄積された投稿から評価対象の現在の評価情報を示す投稿を適切に抽出し、評価情報を更新する必要がある。
【００１３】
本発明は、上記の事情に鑑みてなされたもので、ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価情報を適切に更新することができる、評価更新装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、第１の発明に係る評価装置は、評価対象に関する投稿内容を表す投稿情報と、前記投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、前記投稿者情報が表す前記ユーザによる過去の前記投稿情報の数が多いほど高くなり、かつ前記ユーザの前記投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる、前記ユーザに関する指標を表すユーザ指標に基づいて、前記ユーザ指標が閾値以上である、前記投稿データを選別する選別部と、前記選別部によって選別された前記投稿データに基づいて、前記評価対象が存在するか否かを評価する評価部と、を含む。
【００１５】
また、前記評価部は、前記選別部によって選別された前記投稿データに基づいて、前記評価対象の性質の尤もらしさを評価するようにすることができる。
【００１６】
また、前記投稿データの各々は、前記評価対象の位置情報を更に含み、前記投稿データ群の前記投稿データの前記位置情報及び前記投稿情報の少なくとも一方に基づいて、複数の前記投稿データを、複数のクラスタにクラスタリングするクラスタリング部を更に含み、前記選別部は、前記クラスタリング部によってクラスタリングされた前記クラスタ毎に、前記クラスタに属する複数の前記投稿データの前記ユーザ指標の平均を算出し、前記クラスタの前記ユーザ指標の平均が、ユーザ指標に関する閾値以上である前記クラスタに属する前記投稿データを選別するようにすることができる。
【００１７】
また、前記クラスタリング部は、少なくとも１つの前記クラスタが複数のクラスタを含む階層的クラスタリングを用いて、複数の前記投稿データの各々の間の類似度合いに基づいて、複数の前記投稿データをクラスタリングするようにすることができる。
【００１８】
また、前記評価部は、前記選別部によって選別された前記投稿データの投稿情報に基づいて、前記評価対象の性質の尤もらしさとして、前記投稿情報に関する指標を表すコンテンツ指標を算出し、前記選別部によって選別された前記投稿データから、前記投稿データの前記投稿情報の前記コンテンツ指標が、コンテンツ指標に関する閾値以上である前記投稿データを、所定以上の信頼度を有する情報としての評価情報として採用するようにすることができる。
【００１９】
また、前記評価部は、前記評価対象に関する事象の情報と前記投稿情報が指し示す前記評価対象に関する情報との組み合わせ毎に求められる確率に基づいて、前記コンテンツ指標を算出するようにすることができる。
【００２０】
また、第２の発明に係る評価方法は、選別部及び評価部を含む評価装置における評価方法であって、前記選別部が、評価対象に関する投稿内容を表す投稿情報と、前記投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、前記投稿者情報が表す前記ユーザによる過去の前記投稿情報の数が多いほど高くなり、かつ前記ユーザの前記投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる、前記ユーザに関する指標を表すユーザ指標に基づいて、前記ユーザ指標が閾値以上である、前記投稿データを選別するステップと、前記評価部が、前記選別部によって選別された前記投稿データに基づいて、前記評価対象が存在するか否かを評価するステップと、を含む。
【００２１】
また、第３の発明に係るプログラムは、コンピュータを、上記の評価装置が備える各部として機能させるためのプログラムである。
【００２２】
また、第４の発明に係る評価更新装置は、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成する評価部を含む。
【００２３】
また、前記評価更新装置は、前記評価情報が、前記評価情報指標に関する閾値以下となった場合に、複数のユーザに対して前記投稿情報の投稿を要求する要求部を更に含むようにすることができる。
【００２４】
また、前記評価情報指標は、前記評価情報が適切であるか否かを表す投票情報に基づき生成される前記評価情報の信頼度であるようにすることができる。
【００２５】
また、前記評価情報指標は、所定の領域内における前記評価情報の数に基づき生成される前記評価情報の収集度であるようにすることができる。
【００２６】
また、第５の発明に係る評価更新方法は、評価部を含む評価更新装置における評価更新方法であって、前記評価部が、評価対象に対する評価を表す評価情報が生成されたときに前記評価情報に対して付与される指標を表す評価情報指標であって、かつ前記評価情報が生成されたときからの時間が経過するほど低くなり、かつ前記評価情報が適切であるか否かを表す投票情報が低いほど低くなる前記評価情報指標が、評価情報指標に関する閾値以下となった場合に、前記評価対象に対する前記評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる前記投稿情報に基づいて、前記評価対象に対する前記評価情報を再度生成するステップを含む。
【００２７】
また、第６の発明に係るプログラムは、コンピュータを、上記の評価更新装置が備える各部として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明に係る評価更新装置、方法、及びプログラムによれば、ユーザからの評価対象に関する投稿に応じて、評価対象に関する評価を適切に更新することができる、という効果を有する。
【図面の簡単な説明】
【００２９】
【図１】本実施形態の概要を説明するための説明図である。
【図２】本実施形態に係る評価システムの構成の一例を示すブロック図である。
【図３】本実施形態の投稿データ群を説明するための説明図である。
【図４】本実施形態のクラスタリングを説明するための説明図である。
【図５】クラスタリングルールの一例を示す図である。
【図６】クラスタリングの具体例を示す図である。
【図７】クラスタリングの具体例を示す図である。
【図８】クラスタリングの具体例を示す図である。
【図９】本実施形態のユーザ信頼度を説明するための説明図である。
【図１０】本実施形態のユーザ信頼度を説明するための説明図である。
【図１１】ユーザがbotであるか否かの検出方法について説明するための説明図である。
【図１２】投稿情報のカウントを説明するための説明図である。
【図１３】コンテンツ信頼度を求めるための確率を説明するための説明図である。
【図１４】コンテンツ信頼度の算出の具体例を示す図である。
【図１５】評価情報の統合を説明するための説明図である。
【図１６】ユーザによる投稿情報の投稿数及び評価情報として採用された数を説明するための説明図である。
【図１７】評価情報の信頼度を説明するための説明図である。
【図１８】ユーザの投票情報に基づく評価情報の信頼度の算出を説明するための説明図である。
【図１９】ユーザ信頼度に応じた投票情報の重みの算出方法を説明するための説明図である。
【図２０】評価情報の信頼度を説明するための説明図である。
【図２１】本実施形態の評価処理ルーチンの一例を示す図である。
【図２２】本実施形態の評価更新処理ルーチンの一例を示す図である。
【図２３】第２実施形態の収集度の具体例を示す図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
【００３１】
＜本実施形態の概要＞
【００３２】
図１に、本発明の実施形態を説明するための説明図を示す。本実施形態では、複数のユーザによって作成された評価対象に関する投稿情報を評価する。本実施形態では、評価対象の一例である地点Ｐ１，Ｐ２，Ｐ３の各々について、当該地点に対して投稿が行われる。例えば、地点Ｐ１に対して、ユーザＡ，Ｂ，Ｃからの投稿情報ＳＡ，ＳＢ，ＳＣがあるものとする。本実施形態において投稿情報を評価する際には、投稿情報をクラスタリングし、投稿したユーザに関する指標の一例であるユーザ信頼度ＵＡ，ＵＢ，ＵＣと、ユーザによって投稿された投稿情報に関する指標の一例であるコンテンツ信頼度ＣＡ，ＣＢ，ＣＣとを考慮して、各クラスタについて正しい投稿情報の集まりであるかどうか評価する。そして、該当クラスタが正しい内容の集まりであると判断された場合、該当クラスタの投稿情報を評価情報として採用する。また、抽出結果に応じてユーザ信頼度を更新し、任意の評価対象に対する評価情報が適切に生成されるようにする。
【００３３】
また、所定以上の信頼度を有する情報であるとして採用された評価情報は、時間の経過と共に正しくない内容に変わる可能性も考えられる。そこで、本発明では複数のユーザによる投票（○又は×の投票）と時間の経過を考慮して評価情報を再評価する。例えば、図１に示される例では、ユーザＤによって地点Ｐ１の評価情報に対する○又は×の投票が行われる。本実施形態では、この投票情報と経過時間を考慮して評価情報の信頼度Ｅを更新し、信頼度Ｅが所定の閾値以下になった場合、地点Ｐ１に対してユーザからの更なる投稿を呼びかけ、現時点で適切である可能性が高い評価情報のみを用いて再評価する。これにより、任意の評価対象に対する評価情報を適切なものに維持することができる。
【００３４】
本実施形態では、投稿情報から評価情報を生成する評価処理と、投稿を呼び掛け評価情報を更新する評価更新処理とが繰り返される。以下、具体的に説明する。
【００３５】
＜第１実施形態＞
【００３６】
＜評価システムの構成＞
【００３７】
図２は、第１実施形態に係る評価システム１０の構成の一例を示すブロック図である。図２に示すように、本実施形態に係る評価システム１０は、複数のユーザ端末１２と、評価装置１４とを備えている。複数のユーザ端末１２と評価装置１４とは、所定の通信手段３０（例えば、インターネット回線等）によって接続されている。
【００３８】
複数のユーザ端末１２及び評価装置１４は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。
【００３９】
ユーザ端末１２は、任意のユーザによって操作される。ユーザは、ユーザ端末１２を操作し、評価対象に関する投稿内容を表す投稿情報を生成する。そして、ユーザ端末１２は、通信手段３０を介して、例えば、投稿情報をサイト１３へ投稿する。なお、投稿情報が投稿される際には、ユーザ端末１２のユーザを表す投稿者情報と、投稿情報が生成された評価対象の位置情報とが、併せてサイト１３へ投稿される。
【００４０】
また、ユーザ端末１２は、ユーザからの操作に応じて、投稿情報（又は後述する評価情報）に対する投票内容を表す投票情報を、サイト１３に投稿された投稿情報へ付与する。このように、投稿情報に対して〇又は×の投票を行うことができるし、評価情報に対して〇又は×の投票を行うことができる（図１参照）。投票情報に関しては後述する。
【００４１】
評価装置１４は、複数のユーザ端末１２によって投稿された投稿情報と投稿者情報と位置情報との組み合わせを表す投稿データを収集する。そして、評価装置１４は、投稿データのうちの投稿情報が指し示す評価対象を評価する。
【００４２】
図２に示されるように、評価装置１４は、機能的には、通信部１６と、データ取得部１８と、データ記憶部２０と、クラスタリング部２２と、取得部２４と、評価部２６と、要求部２８とを備えている。
【００４３】
通信部１６は、通信処理を行う。具体的には、通信部１６は、複数のユーザ端末１２からサイト１３へ投稿された投稿データの各々を受信する。
【００４４】
本実施形態の投稿データは、評価対象に関する投稿内容を表す投稿情報と、当該投稿情報を投稿したユーザを表す投稿者情報と、評価対象の位置情報とを含む。本実施形態では、評価対象が地点である場合を例に説明する。
【００４５】
データ取得部１８は、通信部１６によって受信した投稿データを取得する。そして、データ取得部１８は、取得した投稿データをデータ記憶部２０に格納する。
【００４６】
データ記憶部２０には、データ取得部１８によって取得された複数の投稿データを含む投稿データ群が格納される。図３に、本実施形態の投稿データ群を説明するための説明図を示す。
【００４７】
本実施形態の投稿データ群は、例えば、図３に示されるように、テーブル形式によって管理される。具体的には、図３に示されるように、投稿したユーザを表す投稿者情報と、評価対象である地点の位置情報と、当該地点の投稿情報との組み合わせを含むデータが１つの投稿データとして格納される。また、図３に示されるテーブルには、投稿データに対する投票情報と、投稿データの格納日と、投稿データのチェックとが併せて格納される。投稿データのチェックについては後述する。
【００４８】
なお、投稿者情報は文字列（例えば、ＩＤ又は番号等）によって表される。また、位置情報は、連続値又は文字列によって表される。位置情報が文字列の場合にはＩＤや番号等によって表され、連続値の場合は座標（緯度と経度との組）によって表される。また、投稿情報及び投票情報は、文字列によって表される。
【００４９】
なお、投稿データを格納する際には、投稿者情報及び位置情報は必須であり、投稿情報及び投票情報の何れか一方には値が格納されているものとする。また、投稿情報をサイト１３へ投稿する際には、投稿情報のうちの各項目に対して必須入力とオプション入力とを指定できるものとする。このため、必須入力については値が必ずあるものとし、オプション入力については値が無い場合があるものとする。
【００５０】
また、投稿データの格納日は、投稿を収集する際に用いられる。また、投稿データのチェックは、投稿者であるユーザによる投稿数をカウントする際、ユーザによる投稿情報が後述する評価情報として採用された数をカウントする際、及び投稿を集める際等に使用される。チェック欄に関しては後述する。
【００５１】
クラスタリング部２２は、データ記憶部２０に格納された投稿データ群を取得する。そして、クラスタリング部２２は、投稿データ群の投稿データの位置情報及び投稿情報の少なくとも一方に基づいて、複数の投稿データを、複数のクラスタにクラスタリングする。
【００５２】
クラスタリング手法として、階層的クラスタリング及び非階層的クラスタリングが知られている。階層的クラスタリングにおいては、デンドログラム（樹形図）が生成され、クラスタ数を予め決める必要はない。階層的クラスタリングとしては、ウォード法及び群平均法等がある。一方、非階層的クラスタリングにおいては、クラスタ数を予め決める必要がある。非階層的クラスタリングとしては、k-means及びfuzzy c-means等が知られている。なお、クラスタリングを行う前においては、一般的にクラスタ数は不明であることが多い。
【００５３】
そこで、本実施形態では、階層的クラスタリングを用いてクラスタリングを行う。図４に、階層的クラスタリングを説明するための説明図を示す。図４に示されるように、階層的クラスタリングでは、少なくとも１つのクラスタが複数のクラスタを含む。また、階層的クラスタリングでは、複数の投稿データの各々の間の類似度合いに基づいてクラスタリングが行われる。このため、図４に示されるように、投稿データの間の類似度合いを表す距離が近いものは、同一のクラスタに分類される。例えば、距離に関する閾値を１と設定した場合には、図４に示される樹形図において、ユーザＡの投稿データとユーザＢの投稿データとは同一のクラスタに分類される。また、例えば、距離に関する閾値を３と設定した場合には、図４に示される樹形図において、ユーザＡ，Ｂ，Ｃ，Ｄの投稿データが同一のクラスタに分類される。
【００５４】
次に、図５に、本実施形態の階層的クラスタリングのクラスタリングルールの一例を説明するための説明図を示す。本実施形態では、投稿データのうちの、位置情報及び投稿情報の少なくとも一方を利用して、閾値を変えることによって同一の階層的クラスタリング手法によってクラスタリングを行う。
【００５５】
具体的には、本実施形態では、以下の（１）〜（３）の要件を満たしたうえでクラスタリングが行われる。
【００５６】
（１）クラスタリングルールはＮｏ．１，２，３と管理し、指定された順にクラスタリングを行う。
（２）利用項目と値、閾値の指定は必須とする。
（３）値が文字列の場合は数値化処理を行ってクラスタリングを行う。
【００５７】
なお、図５に示されるように、利用項目が投稿情報であって、かつ値に文字列が指定されている場合、重み付けの優先順位（第1〜ｎカテゴリ）を指定することができる。
【００５８】
図５に示されるように、本実施形態のクラスタリングの際の利用項目としては、投稿データのうちの位置情報又は投稿情報が用いられる。図５に示される例において、例えばＮｏ．１の識別情報が付与されたルールでは、位置情報がクラスタリングの利用項目として用いられ、位置情報を表す文字列に応じてクラスタリングが行われることを示している。なお、この場合の閾値は「１．０」に設定されている。
【００５９】
また、例えばＮｏ．３の識別情報が付与されたルールでは、投稿情報がクラスタリングの利用項目として用いられ、投稿情報を表す文字列に応じてクラスタリングが行われることを示している。なお、この場合の閾値は「１２．０」に設定されている。
【００６０】
図６に、階層的クラスタリングの具体例を説明するための説明図を示す。図６は、上記図５に示されるＮｏ．１のルールを適用した場合のクラスタリングの例である。上記図５に示されるように、Ｎｏ．１のルールでは、位置情報が利用項目に設定されているため、位置情報に応じてクラスタリングが行われる。
【００６１】
図６に示される例では、ユーザＡ〜Ｄに対応する位置情報は「１０００１」であり、ユーザＥに対応する位置情報は「１０３５０」である。この場合、これらの位置情報が数値化されると、図６に示されるように、「１０００１」と「１０３５０」とに分類され、何れに属するのかが「１」及び「０」によって表される。この位置情報に基づけば、ユーザＡによる投稿データとユーザＢによる投稿データとは、例えばマンハッタン距離＝０となり、距離が近いと判定される。一方、ユーザＤによる投稿データとユーザＥによる投稿データとは、マンハッタン距離＝１となる。この場合、閾値を１と設定すると、図６に示される右側のように、Ａ，Ｂ，Ｃ，Ｄは同一のクラスタに分類され、Ａ，Ｂ，Ｃ，Ｄが属するクラスタと、Ｅが属するクラスタとの２つのクラスタにクラスタリングされる。
【００６２】
次に、図７に、上記図５に示されるＮｏ．２のルールを適用した場合のクラスタリングの例を示す。Ｎｏ．２のルールでは、位置情報が利用項目に設定されているため、位置情報に応じてクラスタリングが行われる。なお、Ｎｏ．２のルールでは、位置情報が連続値によって表現されている。
【００６３】
図７に示される例では、ユーザＡ〜Ｄに対応する位置情報が連続値によって表現される。この場合、位置情報に基づけば、ユーザＢによる投稿データとユーザＣによる投稿データとは、マンハッタン距離＝０．０１となり、距離が近いと判定される。一方、ユーザＤによる投稿データとユーザＥによる投稿データとは、マンハッタン距離＝１０．８８となる。この場合、閾値を１０と設定すると、図７に示される右側のように、Ａ，Ｂ，Ｃ，Ｄは同一のクラスタに分類され、Ａ，Ｂ，Ｃ，Ｄが属するクラスタと、Ｅが属するクラスタとの２つのクラスタにクラスタリングされる。
【００６４】
次に、図８に、上記図５に示されるＮｏ．３のルールを適用した場合のクラスタリングの例を示す。Ｎｏ．３のルールでは、投稿情報が利用項目に設定されており、第１カテゴリに項目１が設定され、第２カテゴリに項目２が設定され、第３カテゴリに項目３が設定されているものとする。この場合、投稿情報の各項目１，２，３に応じてクラスタリングが行われる。
【００６５】
図８に示される例において、投稿情報の項目１，２，３には、評価対象である地点を表す情報が格納されている。この場合、投稿情報の項目１，２，３が数値化されると、図８に示されるように、第３カテゴリは「１」又は「０」によって表され、第２カテゴリは「３」又は「０」によって表され、第１カテゴリは「１２」又は「０」によって表される。なお、下位カテゴリの最大距離＋１の重みが上位カテゴリに付与される。
【００６６】
この場合、ユーザＡによる投稿データとユーザＢによる投稿データとは、マンハッタン距離＝２となり、距離が近いと判定される。一方、ユーザＢによる投稿データとユーザＣによる投稿データとは、マンハッタン距離＝６となる。この場合、閾値を１２未満に設定すると第１カテゴリによって分類されることになり、閾値を３未満に設定すると第２カテゴリによって分類されることとなる。例えば、閾値を３と設定してクラスタリングが行われると、図８に示される右側のように、Ａ，Ｂは同一のクラスタに分類され、Ａ，Ｂが属するクラスタと、Ｃが属するクラスタと、Ｄが属するクラスタとの３つのクラスタにクラスタリングされる。一方、閾値を１２と設定してクラスタリングが行われると、図８に示される右側のように、Ａ，Ｂ，Ｃは同一のクラスタに分類され、Ａ，Ｂ，Ｃが属するクラスタと、Ｄが属するクラスタとの２つのクラスタにクラスタリングされる。
【００６７】
取得部２４は、クラスタリング部２２によってクラスタリングされたクラスタ毎に、当該クラスタに属する複数の投稿データのユーザ信頼度の平均を算出する。そして、取得部２４は、クラスタのユーザ信頼度の平均が、ユーザ信頼度に関する閾値以上であるクラスタを取得する。なお、ユーザ信頼度はユーザ指標の一例である。
【００６８】
本実施形態のユーザ信頼度は、ユーザによる過去の投稿情報の数が多いほど高くなり、かつユーザの投稿情報が、所定以上の信頼度を有する情報であるとして採用された数が多いほど高くなる。なお、所定以上の信頼度を有する情報であるとして採用された投稿情報は、後述する評価情報となる。本実施形態のユーザ信頼度の算出式を、以下の式（１）に示す。
【００６９】
ユーザ信頼度＝δ×２×(寄与率)×(採用率)/{(寄与率)+(採用率)}
（１）
【００７０】
なお、上記式（１）における、寄与率及び採用率は、以下の式（２）によって表される。
【００７１】
【数１】
2020035022.tif 000003
2020035022.tif 000004
（２）
【００７２】
なお、δは１又はbot検出のための判定スコアである。bot検出のための判定スコアについては後述する。ａは予め設定された定数を表し、μは複数のユーザによる投稿情報の数の平均を表し、ｍｉはユーザｉの投稿数を表し、σは投稿数の標準偏差を表す。また、ｎｉはユーザｉの投稿情報が評価情報として採用された個数を表す。
【００７３】
図９に、上記式（１）における寄与率を説明するための説明図を示す。投稿情報の投稿数が多いユーザほど高いユーザ信頼度を割り当てることが好ましい。そのため、図９に示されるように、本実施形態では、平均よりも投稿数が多いユーザに対しては１に近い寄与率が割り当てられるようにし、平均よりも投稿数が少ないユーザに対しては０に近い寄与率が割り当てられるようにする。
【００７４】
図１０に、ユーザ信頼度を説明するための説明図を示す。図１０に示される例では、各ユーザＡ，Ｂ，Ｃ，Ｄについての、投稿数、評価情報として採用された採用数、寄与率、採用率、及びユーザ信頼度が示されている。なお、図１０に示される例では、ユーザ全体の平均投稿数μ＝１．０であり、分散σ＝０．８、ａ＝２．０である。
【００７５】
図１０に示されるように、寄与率及び採用率が高いほど、ユーザ信頼度は１に近い値をとることがわかる。また、投稿情報の投稿数が多い場合であっても、評価情報として採用された採用数が少ない場合には、ユーザ信頼度は低くなる。なお、初回（例えば、投稿数＝０，採用数＝０）のときには、ユーザ信頼度は定数（例えば、０．７）とする。また、ユーザ信頼度を算出する際に、投稿数の平均及び投稿数の分散等を、各地点が存在するエリア毎に算出することで、エリア毎のユーザ信頼度を求めることもできる。
【００７６】
次に、図１１に、ユーザがbotであるか否かを表す判定スコアの算出方法について説明するための説明図を示す。なお、以下で説明するbot検出は、参考文献（蔵内 雄貴、他４名、「ベンフォードの法則を応用したbotアカウント検出」、日本データベース学会論文誌、DBSJ journal 12(1), 19-24, 2013-06、［平成 30 年 8 月 13 日検索］、インターネット〈URL：http://db-event.jpn.org/deim2013//proceedings/pdf/b1-2.pdf〉）に基づくものである。
【００７７】
図１１に示されるように、参考文献に記載の技術においては、投稿内容と投稿日時とからbotであるか人であるかが判定される。参考文献に記載の技術は、日々の投稿により推定精度が向上するモデルであるため、本実施形態のユーザ信頼度として利用することも可能である。参考文献の技術では、最大で直近Ｎ回の投稿が利用されており、投稿が４０件くらいある場合に８割程度の推定精度であることが報告されている。
【００７８】
ユーザによる投稿を数値化（例えば、単語頻度の最上位桁の数をカウント及び時間間隔の最上位桁の数をカウント）した場合、図１１の左側に示されるように、人とbotとではグラフの形状が異なる。図１１の左側に示される２つのグラフの横軸は、単語頻度の最上位桁の数値又は時間間隔の最上位桁の数値を表す。例えば、時間間隔が１６、２４、３７である場合、時間間隔の最上位桁の数値は、「１」、「２」、「３」となる。また、任意の単語頻度が、１７、２５、４８である場合、単語頻度の最上位桁の数値は、「１」、「２」、「４」となる。
【００７９】
図１１の左側に示される２つのグラフのうちの左側のグラフは、人による投稿の時間間隔又は単語頻度に関する出現確率を表す。また、図１１の左側に示される２つのグラフのうちの右側のグラフは、botによる投稿の時間間隔又は単語頻度に関する出現確率を表す。図１１の左側に示される２つのグラフのうちの左側のグラフの形状は、点線に近い形状となるのに対し、図１１の左側に示される２つのグラフのうちの右側のグラフの形状は、左側のグラフに比べ、点線と乖離した形状となる。このため、特定の分布を表す点線と近い形状であるのか、特定の分布を表す点線と異なる形状であるのかに応じて、人による投稿か又はbotによる投稿であるのかを判定することができる。
【００８０】
この場合、図１１の右側のグラフに示されるように、特定の分布と、投稿の時間間隔の出現確率の分布又は単語頻度の出現確率の分布との間の誤差は、投稿数が増加するにつれて減少する。このとき、投稿数が増加するにつれて、人による投稿に関しての誤差は、botによる投稿に関しての誤差よりも小さくなる。
【００８１】
そのため、本実施形態では、この誤差に基づいて、人物らしさを表す判定スコアδを算出する。具体的には、図１１に示されるように、人物らしさを表す判定スコアδを、δ＝ａｘの算出式によって算出する。なお、ここでのｘは誤差を表す。これにより、人物らしさを表す判定スコアδを適切に算出することができる。
【００８２】
なお、本実施形態においては、投稿情報の各クラスタに含まれるユーザの人数によって投稿情報のカウントが行われる。例えば、図１２の下段に示されるように、同じ人であるユーザＤが同じ投稿を繰り返した場合であっても、全体のユーザ数は４人とカウントされ、かつ地点について「段差」と答えたユーザは３人、「階段」と答えたユーザは１人とカウントする。これにより、第１カテゴリで考える場合には、全体のユーザ数は４人（ｎ＝４）、「段差」と答えたユーザは３人（ｒ＝３）、「階段」と答えたユーザは１人とカウントされる。
【００８３】
評価部２６は、取得部２４によって取得されたクラスタの投稿データに基づいて、評価対象の対象物が存在するか否かを評価する。例えば、投稿情報に「階段」と「段差」のみが含まれている場合には、「階段」又は「段差」を表す評価対象が存在していることがわかり、「トイレ」は存在していないことがわかる。
【００８４】
また、評価部２６は、取得部２４によって取得されたクラスタの投稿データに基づいて、評価対象の性質の尤もらしさを評価する。具体的には、評価部２６は、取得部２４によって取得されたクラスタの投稿データの投稿情報に基づいて、評価対象の性質の尤もらしさとして、投稿情報に関する指標を表すコンテンツ指標の一例であるコンテンツ信頼度を算出する。
【００８５】
より詳細には、評価部２６は、評価対象に関する事象の情報と投稿情報が指し示す評価対象に関する情報との組み合わせ毎に求められる確率に基づいて、コンテンツ信頼度を算出する。
【００８６】
図１３に、本実施形態のコンテンツ信頼度を求めるための各確率を説明するための説明図を示す。本実施形態では、確率統計を用いてコンテンツ信頼度を算出する。具体的には、図１３に示されるように、事象Ａを「ａ：バリアθがある」、事象Ｂを「ｂ：バリアθがない」とする。
【００８７】
そして、任意の地点において事象Ａである確率ＰＡ、任意の地点において事象Ｂである確率をＰＢとする。また、事象Ａ，Ｂが発生する地点において投稿者であるユーザがａ，ｂと判定し、投稿情報にａ，ｂが表れる確率を、それぞれｐＡ（ａ），ｐＡ（ｂ），ｐＢ（ａ），ｐＢ（ｂ）とする。なお、事象Ａ，Ｂに関する情報は、オープンデータ等の情報から設定される。また、ユーザ数ｎは計測により得られる。また、ｐＡ（ａ），ｐＡ（ｂ），ｐＢ（ａ），ｐＢ（ｂ）は、トライアル等のユーザの評価の精度に応じて予め設定される。
【００８８】
上記の条件下で、ある地点でｎ人中、事象Ａと判定したユーザがｒ人のとき、その地点が実際にＡである確率ｑｘ（Ａ）を考える。この場合、ベイズの定理により、以下の式（３）によって確率ｑｘ（Ａ）を算出することができる。
【００８９】
【数２】
2020035022.tif 000005
（３）
【００９０】
次に、図１４を参照して、コンテンツ信頼度の算出例を説明する。図１４に示されるように、例えば、任意の場所で事象Ａ（段差）である確率をＰＡ＝０．３とする。この場合、任意の場所で事象Ａではない確率、すなわち、段差が無い確率はＰＢ＝０．７となる。
【００９１】
また、事象Ａである地点でａと予測（例えば、「段差」の地点で「段差」と判定される）確率をＰＡ（ａ）＝０．９とする。また、事象Ｂである地点でａと予測する（「段差」ではない地点で「段差」と判定される）確率をＰＢ（ａ）＝０．１とする。また、図１４に示されるように、４人のユーザの内、ａと判定したユーザが３人（ｒ＝３）であるとする。この場合の各確率は、図１４に示されるようなものとなる。
【００９２】
この場合、コンテンツ信頼度は、以下の式（４）によって計算される。
【００９３】
【数３】
2020035022.tif 000006
（４）
【００９４】
なお、図１４に示される各確率は、日々の更新状況に合わせて値を少しずつ更新することもできる。例えば、以下の式（５）に従って、確率ＰＡ（ａ）を更新することができる。なお、αは予め設定された係数である。
【００９５】
ＰＡ（ａ）←ＰＡ（ａ）＋α
（５）
【００９６】
そして、評価部２６は、取得部２４によって取得されたクラスタの投稿データから、投稿データの投稿情報のコンテンツ信頼度が、コンテンツ信頼度に関する閾値以上である投稿情報を評価情報として採用する。
【００９７】
なお、本実施形態の評価情報は、評価情報を識別するためのＩＤと、評価情報として採用された投稿データの位置情報と、評価情報として採用された投稿データの投稿情報を表す抽出情報と、評価情報として採用された投稿データの投稿者情報と、評価情報に対する投票情報との組み合わせを表す情報である。評価情報のデータ構造については後述する。
【００９８】
次に、評価部２６は、１つの地点に対して１つの評価情報を生成する。図１５に、１つの地点に対する１つの評価情報の生成を説明するための説明図を示す。例えば、評価部２６は、投稿された投稿情報が１つである場合、(投稿情報)＝(評価情報)とする。一方、図１５に示されるように、ユーザＡ，Ｂ，Ｃの投稿情報が評価情報として採用された場合のような、投稿情報が２つ以上存在する場合、評価部２６は、複数の投稿情報から１つの評価情報を生成する。例えば、図１５に示されるように、評価部２６は、複数の投稿情報の中からどれか一つをランダムに選択する。または、例えば、図１５に示されるように、評価部２６は、複数の投稿を１つに統合する。
【００９９】
そして、評価部２６は、評価情報をデータ記憶部２０に格納する。図１６に、データ記憶部２０に格納される評価情報の一例を示す。図１６に示されるように、評価情報を識別するためのＩＤ及び投稿者情報は、文字列（例えば、英数字等）によって表される。また、位置情報は、連続値又は文字列であり、抽出情報及び投票情報は文字列であるとする。なお、抽出情報は、投稿データのうちの投稿情報に相当する。文字列の場合はＩＤや番号等によって表され、連続値の場合は座標（例えば、緯度と経度との組）によって表される。投稿者情報、位置情報、及び抽出情報は必須であり、投票情報は、○、×、又は値無しとする。また、抽出情報は値がある項目とない項目とが存在する。本実施形態の評価情報は、図１６に示されるようなテーブルによって管理される。なお、評価情報が格納されるテーブル内の格納日及びチェックは、後述する評価情報の信頼度の算出の際に用いられる。
【０１００】
図１７に、データ記憶部２０に格納される、投稿データ及び評価情報を示す。本実施形態では、図１７に示されるようなデータ構造によって、投稿データ及び評価情報が管理される。
【０１０１】
次に、評価部２６は、ユーザ信頼度を算出する際に用いられる、ユーザによる投稿情報の投稿数及び評価情報として採用された採用数を更新する。評価部２６による更新処理により、上記図１０に示される投稿数及び採用数が更新され、寄与率、採用率、及びユーザ信頼度も更新される。
【０１０２】
図１８に、ユーザによる投稿情報の投稿数及び評価情報として採用された数を説明するための説明図を示す。図１８に示されるように、本実施形態では、投稿情報の各クラスタに含まれる各ユーザの投稿情報をカウントする。
【０１０３】
図１８に示される例では、ユーザＡ，Ｂ，Ｃの投稿情報が評価情報として採用され、ユーザＤの投稿情報は不採用となった場合が示されている。この場合、ユーザＡ，Ｂ，Ｃは投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数も＋１となる。一方、ユーザＤは投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数は＋０となる。
【０１０４】
また、図１８の下段には、同じユーザが同じ投稿情報を複数投稿した場合が示されている。この場合、ユーザＡ，Ｂ，Ｃによる投稿情報の投稿数は＋１となり、評価情報として採用されたことを表す採用数も＋１となる。一方、ユーザＤによる投稿情報の投稿数は＋６、評価情報として採用されたことを表す採用数は＋０となる。
【０１０５】
なお、図１８の下段におけるユーザＤの複数の投稿情報が評価情報として採用された場合は、ユーザＤによる投稿情報の投稿数は＋６となるが、投稿情報は同じ内容であるため、評価情報として採用されたことを表す採用数は＋１となる（但し、投稿日が異なっている場合には、別カウントとなる。）。
【０１０６】
ユーザによる投稿情報の投稿数と、ユーザの投稿情報が評価情報として採用された数を表す採用数の更新が終了した後に、評価部２６は、採用となった投稿情報をチェック済みとし、データ記憶部２０に格納された投稿データ群のテーブルを更新する（なお、採用されなかった投稿情報は未チェックのままとする）。
【０１０７】
次に、評価部２６は、複数のユーザからの評価情報に対する投票内容を表す投票情報に基づいて、評価情報の信頼度を算出する。本実施形態の評価情報の信頼度は、以下の式（６）によって表される。
【０１０８】
【数４】
2020035022.tif 000007
（６）
【０１０９】
なお、上記式（６）におけるｔは、投稿情報の投稿からの経過日数を表す。また、ｒｊ０は、予め定められた定数を表す。ｃｊは投票情報の内容（適切であることを表す○、不適切であることを表す×）に応じた重みを表す。ｅ−λｔは投票情報の鮮度を表す項となり、λは予め設定された定数である。定数ｒｊ０の初期値としては、評価情報として採用された際のコンテンツ信頼度が設定される。
【０１１０】
複数のユーザからの評価情報に対する投票情報の重みｃｊは、評価情報ｊに対する○×投票の個数に応じて評価情報の信頼度の減衰割合を決定するものである。重みｃｊは、例えば、以下の式（７）によって表される。
【０１１１】
【数５】
2020035022.tif 000008
（７）
【０１１２】
なお、評価部２６は、ユーザ信頼度が所定の閾値以上であるユーザの投票情報に基づいて、評価情報の信頼度を算出する。
【０１１３】
例えば、図１９に示されるように、ユーザＡのユーザ信頼度が０．６４９であり、ユーザＢのユーザ信頼度が０．８８９であり、ユーザＣのユーザ信頼度が０．０であり、ユーザＤのユーザ信頼度が０．３３３である場合を例に説明する。この場合、所定の閾値を０．５としたときには、評価部２６は、ユーザ信頼度が０．５以上であるユーザＡ及びユーザＢの投票情報に基づいて、評価情報の信頼度を算出する。
【０１１４】
上記図１９に示される例では、ユーザＡの投票情報は「○」であり、ユーザＢの投票情報は「×」であるため、投票情報の重みｃｊは以下の式（８）によって算出される。
【０１１５】
【数６】
2020035022.tif 000009
（８）
【０１１６】
そして、評価部２６は、以下の式（９）によって評価情報の信頼度ｒｊを算出する。なお、ユーザの総数Ｎ＝０の場合は、ｃｊ＝１とする。
【０１１７】
【数７】
2020035022.tif 000010
（９）
【０１１８】
また、評価部２６は、評価情報の信頼度が計算された後、ｒｊ０←ｒｊ０×ｃｊとして定数を更新し、投票情報はチェック済みとなる。
【０１１９】
本実施形態の評価情報の信頼度は、評価情報が生成されたときに評価情報に対して付与される指標を表す評価情報指標の一例である。評価情報の信頼度は、評価情報が生成されたときからの時間が経過するほど低くなり、かつ評価情報が適切であるか否かを表す投票情報に応じて求まる。
【０１２０】
本実施形態の評価情報の信頼度は、評価情報が生成されたときに当該評価情報に対して付与される。図２０に示されるように、評価情報の信頼度は、評価情報が生成されたときからの時間が経過するほど低くなる。また、本実施形態の評価情報の信頼度は、評価情報が適切であるか否かを表す投票情報が低いほど低くなる。例えば、評価情報の信頼度は、複数のユーザからの投票情報が不適切であることを表す投票（例えば、×）が付与された場合に減少する。
【０１２１】
そこで、本実施形態では、評価情報の信頼度が、評価情報の信頼度に関する閾値以下となった場合（図２０に示される「呼び掛けライン」となった場合）に、複数のユーザに対して投稿情報の投稿を要求する。
【０１２２】
要求部２８は、評価情報の信頼度が、評価情報の信頼度に関する閾値以下となった場合に、複数のユーザに対して投稿情報の投稿を要求する。具体的には、要求部２８は、複数のユーザ端末１２に対して投稿情報の投稿を呼び掛ける。
【０１２３】
複数のユーザの各々は自身のユーザ端末１２を操作し、評価装置１４からの要求に応じて、評価対象に関する投稿内容を表す投稿情報をサイト１３へ投稿する。
【０１２４】
評価装置１４は、複数のユーザ端末１２によって投稿された投稿情報を収集する。具体的には、評価装置１４の通信部１６は、複数のユーザ端末１２によって投稿された投稿情報を受信する。また、データ取得部１８は、通信部１６によって受信した投稿情報をデータ記憶部２０へ格納する。
【０１２５】
そして、評価部２６は、前回の評価情報の生成の際に用いられた評価対象に関する投稿内容を表す投稿情報とは異なる新たな投稿情報に基づいて、当該評価対象に対する評価情報を再度生成する。具体的には、データ記憶部２０に格納された新たな評価情報を用いて、当該評価対象に対する評価情報を再度生成する。
【０１２６】
なお、データ記憶部２０に格納される各テーブルには、上記図１７に示されるように、「チェック」項目が含まれている。そのため、評価部２６は、未チェックの投稿情報を用いて、評価情報を再度生成する。なお、未チェックの投稿情報を用いる際には、現時点からＤ日以内の投稿情報又は最新のＰ件分の投稿情報を抽出し、件数が多い方を投稿情報として利用することとする。ＤとＰとは指定可能とする。
【０１２７】
なお、評価情報として採用されなかった投稿情報は未チェックのままとなっている。このため、評価部２６は、未チェックの投稿情報ではなく、投稿の呼び掛けによって新たなに投稿された投稿情報のみに基づいて、当該評価対象に対する評価情報を再度生成するようにしてもよい。
【０１２８】
＜評価システム１０の作用＞
【０１２９】
次に、本実施形態に係る評価システム１０の作用について説明する。まず、評価システム１０の複数のユーザ端末１２によってサイト１３に対する投稿が行われると、データ取得部１８は、通信部１６を介して投稿データの各々を取得する。そして、データ取得部１８は、取得した投稿データの各々をデータ記憶部２０へ格納する。そして、評価装置１４は、評価情報生成の指示信号を受け付けると、図２１に示す評価処理ルーチンを実行する。図２１に示す評価処理ルーチンは、評価情報生成の指示信号を受け付ける毎に実行される。
【０１３０】
＜評価処理ルーチン＞
【０１３１】
ステップＳ１００において、クラスタリング部２２は、データ記憶部２０に格納された投稿データ群を取得する。
【０１３２】
ステップＳ１０２において、クラスタリング部２２は、上記ステップＳ１００で取得された投稿データ群の投稿データの位置情報及び投稿情報の少なくとも一方に基づいて、複数の投稿データを、複数のクラスタにクラスタリングする。
【０１３３】
ステップＳ１０４において、取得部２４は、上記ステップＳ１０２でクラスタリングされたクラスタ毎に、当該クラスタに属する複数の投稿データのユーザ信頼度の平均を算出する。そして、取得部２４は、クラスタのユーザ信頼度の平均が、ユーザ信頼度に関する閾値以上であるクラスタを取得する。
【０１３４】
ステップＳ１０６において、評価部２６は、上記ステップＳ１０４で取得されたクラスタの投稿データに基づいて、コンテンツ信頼度を算出する。
【０１３５】
ステップＳ１０８において、評価部２６は、上記ステップＳ１０４で取得されたクラスタの投稿データから、上記ステップＳ１０６で算出された投稿データの投稿情報のコンテンツ信頼度が、コンテンツ信頼度に関する閾値以上である投稿情報を評価情報として生成する。
【０１３６】
ステップＳ１１０において、評価部２６は、上記ステップＳ１０８で生成された評価情報をデータ記憶部２０に格納して、評価処理ルーチンを終了する。
【０１３７】
＜評価更新処理ルーチン＞
【０１３８】
評価情報が生成された後、複数のユーザによって評価情報に対する投票が行われる。そして、評価装置１４は、予め定められたタイミングで図２２に示す評価更新処理ルーチンを実行する。
【０１３９】
ステップＳ２００において、評価部２６は、ユーザ信頼度が所定の閾値以上であるユーザの投票情報に基づいて、評価情報の信頼度を算出する。
【０１４０】
ステップＳ２０１において、要求部２８は、上記ステップＳ２００で算出された評価情報の信頼度が、評価情報の信頼度に関する閾値以下であるか否かを判定する。評価情報の信頼度が評価情報の信頼度に関する閾値以下である場合には、ステップＳ２０２へ進む。一方、評価情報の信頼度が、評価情報の信頼度に関する閾値より大きい場合には、評価更新処理ルーチンを終了する。
【０１４１】
ステップＳ２０２において、要求部２８は、複数のユーザに対して投稿情報の投稿を要求する。
【０１４２】
ステップＳ２０４において、通信部１６は、複数のユーザ端末１２によって投稿された投稿情報を受信する。また、データ取得部１８は、通信部１６によって受信した投稿情報をデータ記憶部２０へ格納する。
【０１４３】
ステップＳ２０６において、評価部２６は、前回の評価情報の生成の際に用いられた投稿情報とは異なる、上記ステップＳ２０４でデータ記憶部２０へ格納された、新たな投稿情報に基づいて、当該評価対象に対する評価情報を再度生成して、評価更新処理ルーチンを終了する。
【０１４４】
評価装置１４は、上記図２１に示される評価処理ルーチンと上記図２２に示される評価更新処理ルーチンとを繰り返し実行する。
【０１４５】
以上説明したように、本実施形態に係る評価装置によれば、投稿情報と当該投稿情報を投稿したユーザを表す投稿者情報とを有する投稿データを複数含む投稿データ群から、ユーザによる過去の投稿情報の数が多いほど高くなり、かつユーザの投稿情報が評価情報であるとして採用された数が多いほど高くなるユーザ信頼度に基づいて、投稿データを取得し、取得された投稿データに基づいて、評価対象が存在するか否かを評価することにより、ユーザからの評価対象に関する投稿に応じて評価対象を適切に評価することができる。
【０１４６】
また、一般のユーザの投稿情報を利用することで、専門の調査員の情報を利用することなく、広範囲及び低コストで評価情報を生成及び更新することができる。
【０１４７】
また、所定の管理者が投稿内容をその都度チェックする必要がなく、統計処理によって適切な評価情報を自動的に抽出することができる。
【０１４８】
また、本実施形態のユーザ端末１２等にスマートフォン用アプリ等で提供することで、広範囲のユーザからの投稿を容易に収集することができる。この場合、アプリ配布のコストは調査員の募集コストより少なく、かつユーザはスマートフォンを用いて投稿することができるため、専門の計測機器を使用する必要はない。
【０１４９】
＜第２実施形態＞
【０１５０】
次に、第２実施形態について説明する。なお、第２実施形態に係る評価システムの構成は、第１実施形態と同様の構成となるため、同一符号を付して説明を省略する。
【０１５１】
第２実施形態では、評価情報の信頼度に代えて、所定の領域内における評価情報の数に基づき生成される評価情報の収集度を用いる。
【０１５２】
一般のユーザの投稿情報に基づき広範囲の評価情報を効率的に集める場合、時間が経過すれば投稿情報は集まると期待される。しかし、評価情報の収集にかかる期間を短縮するためには、どの地点の情報が必要であるのかを適切に提示する必要がある。
【０１５３】
そこで、第２実施形態では、評価情報が存在していない地点又は評価情報の信頼度が低下した地点を検知するための収集度を定義する。
【０１５４】
具体的には、所定の領域内として、緯度及び経度に応じて矩形のエリアを予め設定する。そして、第２実施形態の評価部２６は、エリアＡｉ（ｉ＝１，２，・・・，Ｍ）内に対応する位置情報に存在する評価情報の個数及び評価情報の信頼度の平均を以下の式（１０）で算出する。
【０１５５】
【数８】
2020035022.tif 000011
2020035022.tif 000012
（１０）
【０１５６】
なお、Ｎ（Ａｉ）は評価情報の個数を表し、Ｍ（Ａｉ）は投稿情報の個数を表す。そして、評価部２６は、上記式（１０）によって算出された値に基づいて、以下の式（１１）に従って、収集度を算出する。
【０１５７】
【数９】
2020035022.tif 000013
（１１）
【０１５８】
なお、ｒｉは、エリアＡｉ内の評価情報ｊの信頼度を表す。
【０１５９】
図２３に、収集度の具体例を示す。図２３には、Ｎ（Ａｉ），Ｍ（Ａｉ），ｅｎｕｍ（Ａｉ），ｅａｖｇ（Ａｉ），Ｈ（Ａｉ）が示されている。この場合、図２３に示される、どの項目が０に近いかによって、投稿の呼び掛け内容を変えることもできる。
【０１６０】
例えば、呼び掛けラインに関する閾値＝０．３とした場合を例に考える。この場合、要求部２８は、エリアＡ２には評価情報が１つもないため新規の投稿を呼びかける一方で、エリアＡ４においては評価情報の信頼度が低下しているため、当該地点で何か変わっていないかに関する投稿を呼びかける。
【０１６１】
なお、第２実施形態に係る評価装置の他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
【０１６２】
以上説明したように、第２実施形態に係る評価装置によれば、所定の領域内における評価情報の数に応じて生成される評価情報の収集度に基づいて、評価対象に関する投稿を適切に呼び掛けることができる。
【０１６３】
また、収集度を用いることで、投稿者であるユーザに、どこのエリアの評価情報が少ないか又は古いかを適切に通知できるため、投稿者であるユーザは、どのエリアで投稿するべきか把握することができる。また、評価装置１４の管理者は、収集したいエリアの評価情報を効率的に得ることができる。
【０１６４】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１６５】
例えば、上記実施形態では、評価装置１４が、投稿情報から評価情報を生成する評価処理と、複数のユーザに対して投稿を要求し評価情報を更新する評価更新処理とを実行する場合を例に説明したが、これに限定されるものではない。例えば、評価処理と評価更新処理とが別々の装置によって実行されてもよい。この場合には、例えば、評価処理を実行する評価装置と、評価更新処理を実行する評価更新装置とによってシステムを構築するようにしてもよい。
【０１６６】
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
【０１６７】
また、上述の装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１６８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１６９】
１０   評価システム
１２   ユーザ端末
１３   サイト
１４   評価装置
１６   通信部
１８   データ取得部
２０   データ記憶部
２２   クラスタリング部
２４   取得部
２６   評価部
２８   要求部
３０   通信手段
【図１】
2020035022.tif 000014
【図２】
2020035022.tif 000015
【図３】
2020035022.tif 000016
【図４】
2020035022.tif 000017
【図５】
2020035022.tif 000018
【図６】
2020035022.tif 000019
【図７】
2020035022.tif 000020
【図８】
2020035022.tif 000021
【図９】
2020035022.tif 000022
【図１０】
2020035022.tif 000023
【図１１】
2020035022.tif 000024
【図１２】
2020035022.tif 000025
【図１３】
2020035022.tif 000026
【図１４】
2020035022.tif 000027
【図１５】
2020035022.tif 000028
【図１６】
2020035022.tif 000029
【図１７】
2020035022.tif 000030
【図１８】
2020035022.tif 000031
【図１９】
2020035022.tif 000032
【図２０】
2020035022.tif 000033
【図２１】
2020035022.tif 000034
【図２２】
2020035022.tif 000035
【図２３】
2020035022.tif 000036