(57)【要約】【課題】あるイベント後のＫＰＩに占めるイベントの影響を認識できるようにする。【解決手段】効果測定プログラムは、ネットワーク上のログデータから実測値を読み出し、あるイベント前の期間における実測値を用いて、所定の統計的予測アルゴリズムに基づく予測モデルを生成する予測モデル生成ステップと、予測モデルが示すあるイベント後の予測値と、あるイベント後の実測値との差分を出力する出力ステップとをコンピュータに実行させる。【選択図】図２
2015011690.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク上のログデータから実測値を読み出し、所定のタイミング前の期間における実測値を用いて、所定の統計的予測アルゴリズムに基づく予測モデルを生成する予測モデル生成ステップと、
前記予測モデルが示す前記所定のタイミング後の予測値と、前記所定のタイミング後の実測値との差分を出力する出力ステップと、
をコンピュータに実行させる効果測定プログラム。
【請求項２】
前記予測モデルが示す前記所定のタイミング前の期間における値と、前記所定のタイミング前の期間における実測値とを用いて、前記予測モデルの適合度を求める適合度算出ステップ
をさらにコンピュータに実行させる、請求項１に記載の効果測定プログラム。
【請求項３】
前記予測モデル生成ステップにおいて、複数の統計的予測アルゴリズムにそれぞれ基づく複数の予測モデルを生成し、
前記適合度算出ステップにおいて、前記複数の予測モデルについて適合度をそれぞれ算出し、
前記出力ステップにおいて、前記適合度の高い順に所定数の予測モデルを用いて、当該予測モデルのそれぞれが示す前記所定のタイミング後の予測値と、前記所定のタイミング後の実測値との差分を出力する
請求項２に記載の効果測定プログラム。
【請求項４】
前記予測モデル生成ステップにおいて、複数の統計的予測アルゴリズムにそれぞれ基づく複数の予測モデルを生成し、
前記適合度算出ステップにおいて、前記複数の予測モデルについて適合度をそれぞれ算出するとともに、算出された前記複数の適合度に基づいて前記予測モデルのそれぞれに適用する複数の重みを決定し、
前記出力ステップにおいて、前記複数の予測モデルが示す予測値に対し前記重みを用いてそれぞれ重みづけした値の和と、前記所定のタイミング後の実測値との差分を出力する
請求項２に記載の効果測定プログラム。
【請求項５】
ネットワーク上のログデータから実測値を読み出し、所定のタイミング前の期間における実測値を用いて、所定の統計的予測アルゴリズムに基づく予測モデルを生成する予測モデル生成ステップと、
前記予測モデルが示す前記所定のタイミング後の予測値と、前記所定のタイミング後の実測値との差分を出力する出力ステップと、
をコンピュータが実行する効果測定方法。
【請求項６】
ネットワーク上のログデータから実測値を読み出し、所定のタイミング前の期間における実測値を用いて、所定の統計的予測アルゴリズムに基づく予測モデルを生成する予測モデル生成部と、
前記予測モデルが示す前記所定のタイミング後の予測値と、前記所定のタイミング後の実測値との差分を出力する出力部と、
を有する効果測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、効果測定プログラム、方法及び装置に関する。
【背景技術】
【０００２】
広告の効果を測定するための方法として、リサーチがある。例えば、期間や地域に基づいて、広告に接した人と接していない人とを比較する。しかしながら、例えばインターネット広告やマス広告によるキャンペーンが、商品の売上げやサービスへの申込み、ＣＶＲ（Conversion Rate：コンバージョン率）、リピート率（再訪問率、再注文率とも呼ぶ）
、ミニブログのようなＳＮＳ（Social Networking Service）における当該商品等に関す
る言及数、ウェブサイト等の閲覧数（ＰＶ（Page View）数）、ＣＴＲ（Click Through Rate：クリックスルー率）といったＫＰＩ（Key Performance Indicator：重要業績評価指標）に及ぼす効果を測定することは困難である。すなわち、例えばアンケートによる認知度調査は可能であるが、売上に与える影響を測定することはできない。また、比較的小規模なＥＣ（Electronic Commerce：電子商取引）サイトの経営者等が容易に広告効果を測
定する方法は存在しなかった。
【０００３】
また、コンテンツが各ユーザ端末に表示された場合の予想クリック率を推定し、広告表示のためのリストを作成するという手法は提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４３１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、ＫＰＩから成績が向上したか否かを読み取ることはできる。しかし、成績の変化の原因を、キャンペーンの影響とそれ以外の傾向とに切り分けることは難しい。すなわち、キャンペーンを実施したから成績が向上したのか、キャンペーンを行わなくても成績が向上する傾向にあったのかが判断できない。特定のキャンペーンの効果を測定することはできなかった。
【０００６】
そこで、本発明は、あるイベント後のＫＰＩに占めるイベントの影響を認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る効果測定プログラムは、ネットワーク上のログデータから実測値を読み出し、所定のタイミング前の期間における実測値を用いて、所定の統計的予測アルゴリズムに基づく予測モデルを生成する予測モデル生成ステップと、予測モデルが示す所定のタイミング後の予測値と、所定のタイミング後の実測値との差分を出力する出力ステップとをコンピュータに実行させる。
【０００８】
このようにすれば、所定のタイミング後に記録されたログデータの実測値のうち、所定のタイミング近くに行ったイベントの影響（効果）の大きさを、上記の差分として出力することができる。所定のタイミングとは、ユーザによって指定されたタイミングであり、例えば、広告キャンペーンのような所定のイベントを開始したタイミングである。ユーザは、所定のタイミング近くに行ったイベントの成果を客観的に評価でき、例えば次回のイベントを改善する際に利用することができる。
【０００９】
また、予測モデルが示す所定のタイミング前の期間における値と、所定のタイミング前の期間における実測値とを用いて、予測モデルの適合度を求める適合度算出ステップをさらにコンピュータに実行させるようにしてもよい。このようにすれば、出力結果（イベントの効果）が、どの程度実測値に近い予測モデルに基づくものであるか（すなわち、どの程度信頼できるものであるか）、適合度に基づいてユーザは判断できる。
【００１０】
さらに、予測モデル生成ステップにおいて、複数の統計的予測アルゴリズムにそれぞれ基づく複数の予測モデルを生成し、適合度算出ステップにおいて、複数の予測モデルについて適合度をそれぞれ算出し、効果出力ステップにおいて、適合度の高い順に所定数の予測モデルを用いて、当該予測モデルのそれぞれが示す所定のタイミング後の予測値と、所定のタイミング後の実測値との差分を出力するようにしてもよい。このようにすれば、信頼性の高い結果を優先的に出力できる。
【００１１】
また、予測モデル生成ステップにおいて、複数の統計的予測アルゴリズムにそれぞれ基づく複数の予測モデルを生成し、適合度算出ステップにおいて、複数の予測モデルについて適合度をそれぞれ算出するとともに、算出された複数の適合度に基づいて予測モデルのそれぞれに適用する複数の重みを決定し、効果出力ステップにおいて、複数の予測モデルが示す予測値に対し重みを用いてそれぞれ重みづけした値の和と、所定のタイミング後の実測値との差分を出力するようにしてもよい。このようにすれば、各予測アルゴリズムに特有の傾向を抑えた偏りのない予測モデルを生成し、イベントの効果を出力できるようになる。
【００１２】
プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうち、コンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、フラッシュメモリ、磁気テープ等がある。また、コンピュータに固定された記録媒体としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）等がある。
【００１３】
また、本発明を実現する方法をコンピュータに実行させてもよいし、本発明を実現する装置を提供するようにしてもよい。
【発明の効果】
【００１４】
本発明によれば、あるイベント後のＫＰＩに占めるイベントの影響を認識できるようになる。
【図面の簡単な説明】
【００１５】
【図１】システム構成の一例を示すブロック図である。
【図２】評価装置の一例を示す機能ブロック図である。
【図３】ＷＥＢサーバ、ＳＮＳサーバの一例を示す機能ブロック図である。
【図４】コンピュータの一例を示す構成図である。
【図５】効果予測処理の処理フローである。
【図６】ログデータの一例を示す図である。
【図７】実測値及び予測値を説明するためのグラフである。
【図８】変形例１に係る効果予測処理の処理フローである。
【図９】変形例２に係る効果予測処理の処理フローである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を実施するための形態について説明する。なお、以下の実施形態の構成は例示であり、本発明は以下の構成には限定されない。
【００１７】
＜システム構成＞
図１は、実施形態に係る、広告効果の測定を行うシステムを説明するための図である。本システムは、評価装置１と、ＷＥＢサーバ２と、ＳＮＳサーバ３と、ユーザ端末４とを含む。また、これらはネットワーク５を介して互いに接続されている。
【００１８】
評価装置１は、本実施形態に係る広告効果の測定を行う。ＷＥＢサーバ２は、商品の販売やサービスの提供を行うＥＣサイト等のウェブページを保持しており、ユーザ端末４からの要求に応じてウェブページを送信する。また、ＷＥＢサーバ２は、アクセスログ及び取り引きのログ（「取引ログ」とも呼ぶ）を記録する。ＳＮＳサーバ３は、ユーザにＳＮＳを提供する。また、ＳＮＳサーバ３は、例えば、ＳＮＳへの投稿のログ（例えば投稿内容や投稿数であり、「投稿ログ」とも呼ぶ）を外部の装置へ公開する。ユーザ端末４は、ユーザの操作に基づいてＷＥＢサーバ２やＳＮＳサーバ３へアクセスし、ウェブページを受信する。
【００１９】
なお、図１では１つのユーザ端末４を示しているが、ユーザ端末４は複数存在してもよい。また、評価装置１、ＷＥＢサーバ２及びＳＮＳサーバ３も、複数の装置が並列に処理を行ったり、分担して処理を行ったりするようにしてもよい。
【００２０】
＜各装置の機能＞
図２は、評価装置１の一例を示す機能ブロック図である。本実施形態に係る評価装置１は、広告キャンペーンのようなイベントの効果を測定する装置である。評価装置１は、コンピュータであり、ログ取得部１１と、モデル生成部１２と、適合度算出部１３と、重み付け処理部１４と、効果推定部１５と、データ記憶部１６とを有する。
【００２１】
ログ取得部１１は、ネットワーク５を介して、ＷＥＢサーバ２からアクセスログ又は取引ログを取得したり、ＳＮＳサーバ３から投稿ログを取得したりする。なお、本実施形態では、所定期間ごとの売り上げ、リピート率、特定の事項に言及するＳＮＳへの投稿数、ウェブページの閲覧数（ＰＶ数）といったログの集計を、ＫＰＩとも呼ぶ。ログ取得部１１は、ユーザによって予め指定された所定のタイミング前後のログを取得する。ユーザは、例えば、広告キャンペーンのような所定のイベントを行ったタイミング前後の任意のタイミングを予め指定する。本実施形態では、所定のタイミング前の期間は、広告キャンペーンのような所定のイベントを実施する前の期間であり、所定のタイミング後の期間は、当該イベントを実施した後の期間を含む。
【００２２】
モデル生成部１２は、Ｍｕｌｔｉｐｌｅ  Ｈｏｌｔ−Ｗｉｎｔｅｒｓ、ＧＡＲＣＨ、ＳＡＲＩＭＡといった統計的予測手法を利用し、ログに基づいて予測モデルを生成し、将来のＫＰＩの予測モデルを生成する。モデル生成部１２は、所定のタイミング前の期間におけるログに基づいて予測モデルを生成する。なお、統計的予測手法は上述したものの他にも様々なバリエーションが提案されており、既存の技術を適宜採用することができる。
【００２３】
また、適合度算出部１３は、モデル生成部１２が生成した予測モデルと、ログが示す実績値とを用いて予測モデルの適合度（割合で示した「フィット率」（「適合率」）であってもよい）を求める。適合度は、例えば、二乗誤差や、χ（カイ）二乗を利用して求める。
【００２４】
重み付け処理部１４は、適合度を用いて、各予測モデルに重みづけをして、複数の予測
モデルに基づく予測値を求める。例えば、モデル生成部１２が複数の予測モデルを生成した場合、適合度算出部１３は各予測モデルの適合度を算出し、重み付け処理部１４は、各予測モデルの適合度に基づいて、各予測モデルを採用する割合を決定する。
【００２５】
効果推定部１５は、あるイベントを実施する前のログに基づいて算出された、当該イベント後の期間におけるＫＰＩの予測値と、当該イベント後の期間におけるログとの差分をユーザに示す。
【００２６】
また、データ記憶部１６は、ＷＥＢサーバ２又はＳＮＳサーバ３から受信したログ、生成した予測モデル、算出したＫＰＩの予測値、適合度等を保持する。また、データ記憶部１６は、中間的に生成されたデータを一時的に記憶することもある。
【００２７】
図３は、ＷＥＢサーバ２、ＳＮＳサーバ３といったサーバの一例を示す機能ブロック図である。ＷＥＢサーバ２は、制御部２１と、コンテンツ記憶部２２と、ログデータ記憶部２３とを有する。制御部２１は、ユーザ端末４からの要求を受けて、コンテンツ記憶部２２に保持している、ウェブサイトを表示するためのデータ（「ページデータ」とも呼ぶ）を送信する。本実施形態では、ＷＥＢサーバ２は、ＥＣサイトを表示するためのページデータをコンテンツ記憶部２２に保持しているものとする。また、制御部２１は、ユーザ端末４からのアクセスログや、ユーザ端末４から受け付けた取引ログをログデータ記憶部２３に記録する。
【００２８】
ＳＮＳサーバ３は、制御部３１と、コンテンツ記憶部３２と、ログデータ記憶部３３とを有する。制御部３１は、ユーザ端末４からの要求を受けて、コンテンツ記憶部３２に保持している、ＳＮＳを提供するためのページデータを送信する。本実施形態では、ＳＮＳサーバ３は、いわゆるミニブログを提供するものとする。具体的には、ＳＮＳサーバ３は、ユーザから文章の投稿を受け付け、投稿したユーザが許可した他の一部のユーザに対して公開したり、制限なく公開したりする。また、各ユーザが、投稿する文章中に当該投稿の内容を示す識別子（いわゆるハッシュタグのようなキーワード）を含めることで、例えばある商品やサービスに関連する投稿が抽出できるようになる。
【００２９】
＜装置構成＞
図４は、コンピュータの装置構成図の一例である。評価装置１、ＷＥＢサーバ２、ＳＮＳサーバ３及びユーザ端末４は、図４に示すようなコンピュータである。コンピュータは、ＣＰＵ（Central Processing Unit）１００１、主記憶装置１００２、補助記憶装置１
００３、通信ＩＦ（Interface）１００４、入出力ＩＦ（Interface）１００５、ドライブ装置１００６、通信バス１００７を備えている。ＣＰＵ１００１は、プログラム（「ソフトウェア」又は「アプリケーション」とも呼ぶ）を実行することにより本実施の形態に係る処理等を行う。主記憶装置１００２は、ＣＰＵ１００１が読み出したプログラムやデータをキャッシュしたり、ＣＰＵの作業領域を展開したりする。主記憶装置は、具体的には、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等である。補助記憶装置１００３は、ＣＰＵ１００１により実行されるプログラムや、本実施の形態で用いる情報などを記憶する。補助記憶装置１００３は、具体的には、ＨＤＤ（Hard-disk Drive）
やＳＳＤ（Solid State Drive）、フラッシュメモリ等である。主記憶装置１００２や補
助記憶装置１００３は、評価装置１のデータ記憶部１６、ＷＥＢサーバ２のコンテンツ記憶部２２及びログデータ記憶部２３、ＳＮＳサーバ３のコンテンツ記憶部３２及びログデータ記憶部３３等として働く。通信ＩＦ１００４は、他のコンピュータとの間でデータを送受信する。通信ＩＦ１００４は、具体的には、有線又は無線のネットワークカード等である。入出力ＩＦ１００５は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、キーボード、マウス、ディスプレイ、各種センサ又はタッチパネル等である。ドライブ装置１００６は、磁気ディス
ク、光磁気ディスク、光ディスク等の記憶媒体に記録されたデータを読み出したり、記憶媒体にデータを書き込んだりする。以上のような構成要素が、通信バス１００７で接続されている。なお、これらの構成要素は複数設けられていてもよいし、一部の構成要素（例えば、ドライブ装置１００６）を設けないようにしてもよい。また、入出力装置がコンピュータと一体に構成されていてもよい。また、ドライブ装置１００６で読み取り可能な可搬性の記憶媒体や、フラッシュメモリのような可搬性の補助記憶装置１００３、通信ＩＦ１００４などを介して、本実施の形態で実行されるプログラムが提供されるようにしてもよい。そして、ＣＰＵ１００１がプログラムを実行することにより、上記のようなコンピュータを、評価装置１、ＷＥＢサーバ２、ＳＮＳサーバ３又はユーザ端末４として働かせる。
【００３０】
＜効果測定処理＞
次に、評価装置１の動作を説明する。図５は、評価装置１が実行する効果測定処理の一例を示す処理フローである。なお、本実施形態では、ＷＥＢサーバ２がＥＣサイトをインターネット上に公開しており、ユーザ端末４からのアクセスログやユーザとの取引ログが記録されているものとする。また、ＳＮＳサーバ３は、ユーザ端末４からの投稿を受信するとともに、投稿ログをインターネット上に公開しているものとする。
【００３１】
まず、評価装置１のログ取得部１１は、処理に用いる設定を取得する（図５：Ｓ（ステップ）１）。本ステップでは、評価装置１のユーザによって予め設定された、予測対象のＫＰＩ、広告キャンペーンのようなイベントを実施（又は開始）したタイミング（例えば、年月日）等を取得する。本実施形態では、当該タイミング以降のＫＰＩについて、イベントの効果を測定する。
【００３２】
次に、ログ取得部１１は、ログデータを取得する（Ｓ２）。本ステップでは、ログ取得部１１は、ネットワーク５を介してＷＥＢサーバ２又はＳＮＳサーバ３へアクセスし、Ｓ１で取得した設定に基づいてログデータを取得する。本実施形態では、Ｓ１で取得した予測対象のＫＰＩに応じて、アクセスログ、取引ログ及び投稿ログの少なくともいずれかが取得されるものとする。
【００３３】
ここでは、例えば、図６に示すようなログデータが取得される。図６の例では、日にちごとに、売り上げ、リピート率、ＳＮＳ投稿数及びＰＶ数（閲覧数）といったＫＰＩ（すなわち、実測値）の集計値が記録されている。なお、ログデータは、ＷＥＢサーバ２又はＳＮＳサーバ３において、予め集計しておくようにしてもよいし、ログ取得部１１がログデータ取得後に集計するようにしてもよい。また、図７に、ＫＰＩ（例えば、売り上げ）をグラフで表した例を示す。図７では、実線がＫＰＩを示すものとする。本ステップでは、所定のイベントを実施したタイミング以前の期間におけるＫＰＩと、所定のイベントを実施したタイミング以降の期間におけるＫＰＩとが取得されている。
【００３４】
次に、評価装置１のモデル生成部１２は、取得されたログデータを用いてＫＰＩの予測モデルを生成する（Ｓ３）。本ステップでは、モデル生成部１２は、所定のイベントを実施したタイミング以前の期間におけるログデータを用いて、予測モデルを生成する。
【００３５】
また、モデル生成部１２は、Ｈｏｌｔ−Ｗｉｎｔｅｒｓ、ＧＡＲＣＨ、ＳＡＲＩＭＡといった統計的予測手法を利用する。なお、ログデータに基づいて生成された予測モデルを用いて、モデル生成部１２は、将来のＫＰＩの予測値を算出することができるようになる。例えば、図８において破線で示すような予測モデルが生成される。予測モデルはイベントの実施前の期間におけるログデータに基づいて生成されたものである。よって、予測モデルが示すイベント実施後の期間における値は、イベントがなかったとした場合におけるＫＰＩの予測値といえる。
【００３６】
時系列データの統計的予測手法は、例示したものの他、既存の技術を採用することができる。例えば、ログデータ（実測値）に基づいて回帰式を導出することにより、傾向や循環性、季節性を有する予測モデルを生成することができる。
【００３７】
また、評価装置１の効果出力部１５は、モデル生成部１２が生成した予測モデルが示す、所定のタイミング以降のＫＰＩの予測値と、ログデータが示す所定のタイミング以降のＫＰＩの実測値との差分を出力する（Ｓ４）。ここで、効果出力部１５は、差分の値を算出して出力するようにしてもよいし、評価装置１のユーザが視覚的に差分を認識できるように、例えば予測モデルが示す所定のタイミング以降のＫＰＩの予測値とログデータが示す所定のタイミング以降のＫＰＩの値とをグラフにして出力するようにしてもよい。例えば、図８に示すグラフのうち、イベント以降の期間における実測値（実線）と、イベントがなかったとした場合の予測値（破線）とが出力される。換言すれば、実測値と予測値との差分は、出力結果から推定されるイベントの効果といえる。
【００３８】
本実施形態によれば、評価装置１のユーザは、イベントを実施しなかったとした場合の予測値と、イベント後の実測値であるログのＫＰＩとの差分を知ることができる。すなわち、所定のタイミング後のＫＰＩに占めるイベントの影響（効果）を認識できるようになる。例えば、図７のように、イベントを実施したタイミング以降の期間において、予測値（破線）よりも実測値（実線）の方が高い場合、その差分がイベントの効果であると考えられる。イベントの効果は、例えばＫＰＩが売り上げである場合、イベント後所定期間の売上高という具体的な数値として算出することができる。また、所定のタイミング近くに行ったイベントの効果と、それ以前に実施したイベントの効果とを比較すれば、どちらのイベントの方が効果が高かったのか比較することができる。例えばＥＣサイトの運営者である評価装置１のユーザは、出力された結果を参考にして、実行した広告キャンペーンの評価を行い、次回のキャンペーンの計画に際して改善を図ることができるようになる。
【００３９】
＜変形例１＞
ここで、上記の実施形態で出力される差分の信頼度は、予測モデルがどの程度実測値に近いかによるといえる。変形例１では、生成された予測モデルがどの程度実測値に近いかを示す適合度を算出し、評価装置１のユーザに提示する。
【００４０】
図８は、変形例１に係る効果測定処理の一例を示す処理フローである。なお、Ｓ１１〜Ｓ１３の処理は、図５のＳ１〜Ｓ３と同様であるため、説明を省略する。ＫＰＩの予測モデルが生成された後、適合度算出部１３は、評価装置１の適合度算出部１３は、ログデータと予測モデルとの適合度を算出する（Ｓ１４）。本ステップでは、適合度算出部１３は、実測値であるＫＰＩのログと、Ｓ３で生成した予測モデル（例えば、回帰式）とを用いて、誤差の大きさを示す値を算出する。誤差の大きさを示す値は、例えば、実測値に対する二乗誤差の割合や、カイ二乗検定によって求めることができる。
【００４１】
例えば、実測値の二乗和に対する二乗誤差の割合（ここでは、ＲＳＳ（Residual Sum of Squares）とも呼ぶ）は、次の数１によって算出することができる。
【数１】
2015011690.tif 000003
ｔは期間の開始を示し、Ｔはイベントを実施又は開始したタイミングを示す。ｘ（ｔ）は、実測値であり、ｆ（ｔ）は予測モデルによる予測値である。なお、ＲＳＳの値が低いほど適合度は高いといえる。
【００４２】
また、カイ二乗値（χ２）は、次の数２によって算出することができる。
【数２】
2015011690.tif 000004
Ｏは実測値であり、Ｅは期待値（予測モデルによる予測値）である。なお、カイ二乗値が低いほど、適合度は高いといえる。
【００４３】
また、効果出力部１５は、モデル生成部１２が生成した予測モデルが示す、所定のタイミング以降のＫＰＩの予測値と、ログデータが示す所定のタイミング以降のＫＰＩの実測値との差分、及び予測モデルの適合度を出力する（Ｓ１５）。評価装置１のユーザは、所定のタイミング後のＫＰＩに占めるイベントの効果を認識できるだけでなく、出力された適合度を参照して、イベントの影響の信頼度を認識することができる。
【００４４】
なお、Ｓ１３において複数の予測手法に基づく複数の予測モデルを生成し、Ｓ１４において複数の予測モデルのそれぞれについて適合度を算出するようにしてもよい。そして、Ｓ１５において複数の差分と複数の適合度とを出力する。このようにすれば、ユーザは異なる手法により予測された値に基づくイベントの効果を比較し、適宜参考にすることができる。
【００４５】
また、Ｓ１３において複数の予測手法に基づく複数の予測モデルを生成し、Ｓ１４において複数の予測モデルのそれぞれについて適合度を算出し、Ｓ１５では適合度の高い所定数の予測モデルを採用するようにしてもよい。このようにすれば、信頼度の高い予測モデルを用いて算出されたイベントの効果が、優先的に出力されるようになる。また、予め定められた閾値よりも適合度の高い予測モデルを採用するようにしてもよい。
【００４６】
＜変形例２＞
また、複数の予測モデルを複合的に採用するようにしてもよい。図９は、変形例１に係る効果測定処理の一例を示す処理フローである。Ｓ２１〜Ｓ２４の処理は、図８のＳ１１〜Ｓ１４と同様であるため、説明を省略する。
【００４７】
変形例２では、評価装置１の重み付け処理部１４は、適合度に応じて重みづけした予測モデルを生成する（図９：Ｓ２５）。本ステップでは、まず、重み付け処理部１４は、適合度に基づいて複数の予測モデルのそれぞれに適用する重みを算出する。重み付け処理部１４は、例えば二乗誤差の逆数を用いて、適合度が高い予測モデルの予測値ほど高い値になる重みを決定する。例えば、予測モデルの二乗誤差の逆数の総和に対する、ある予測モデルの二乗誤差の逆数の割合を重みとする。そして、重み付け処理部１４は、各モデルが示す値に重みを乗じた値の総和を、変形例２における予測値として算出する。
【００４８】
そして、効果出力部１５は、重み付け処理部１４が生成した予測モデルが示す、所定のタイミング以降のＫＰＩの予測値と、ログデータが示す、所定のタイミング以降のＫＰＩの実測値との差分を出力する（Ｓ２６）。評価装置１のユーザは、所定のタイミング後のＫＰＩに占めるイベントの効果を認識できる。変形例２によれば、各予測手法に特有の傾向を抑えた偏りのない予測モデルを生成し、イベントの効果を出力できるようになる。
【００４９】
＜その他の変形＞
本実施形態及び変形例は一例である。例えば、予測モデルを生成するためのアルゴリズムや、適合度を求めるためのアルゴリズムは、例示した手法には限定されない。ＫＰＩと
して用いる値も、売り上げ、リピート率、ＳＮＳ投稿数、ＰＶ数（閲覧数）には限定されず、会員獲得数、製薬数、資料請求数など様々なログデータを用いることができる。
【００５０】
なお、図５、図８及び図９は処理フローの一例であって、処理の結果が変わらない限りにおいて、順序を変更したり並列に実行したりするようにしてもよい。
【符号の説明】
【００５１】
１      評価装置
１１      ログ取得部
１２      モデル生成部
１３      適合度算出部
１４      重み付け処理部
１５      効果出力部
１６      データ記憶部
２      ＷＥＢサーバ
３      ＳＮＳサーバ
２１，３１      制御部
２２，３２      コンテンツ記憶部
２３，３３      ログデータ記憶部
【図１】
2015011690.tif 000005
【図２】
2015011690.tif 000006
【図３】
2015011690.tif 000007
【図４】
2015011690.tif 000008
【図５】
2015011690.tif 000009
【図６】
2015011690.tif 000010
【図７】
2015011690.tif 000011
【図８】
2015011690.tif 000012
【図９】
2015011690.tif 000013