(57)【要約】      （修正有）【課題】ユーザの行動に関する指標に対応するモデルを適切に生成可能にする生成装置、生成方法、及び生成プログラムを提供する。【解決手段】本願に係る生成装置は、取得部と、生成部とを有する。取得部は、コンテンツに関するコンテンツ情報を取得する。生成部は、取得部により取得されたコンテンツ情報を、コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成する。【選択図】図４
2019053620.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツに関するコンテンツ情報を取得する取得部と、
前記取得部により取得されたコンテンツ情報を、前記コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することにより前記モデルから出力される出力値と、前記モデルとは異なる情報から予測される予測情報とに基づいて、前記モデルに関する評価情報を生成する生成部と、
を備えることを特徴とする生成装置。
【請求項２】
前記生成部は、
前記指標に関連する要素から予測される予測情報に基づいて、前記モデルの評価情報を生成する
ことを特徴とする請求項１に記載の生成装置。
【請求項３】
前記取得部は、
前記ユーザが利用する端末装置への前記コンテンツの配信に関するログ情報を含む前記コンテンツ情報を取得する
ことを特徴とする請求項１または請求項２に記載の生成装置。
【請求項４】
前記生成部は、
前記コンテンツ情報を、前記ユーザによる前記コンテンツに関する対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することにより前記モデルから出力される出力値に基づいて、前記モデルに関する評価情報を生成する
ことを特徴とする請求項１〜３のいずれか１項に記載の生成装置。
【請求項５】
前記生成部は、
前記コンテンツの配信開始から所定期間以内における前記対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することにより前記モデルから出力される出力値に基づいて、前記モデルに関する評価情報を生成する
ことを特徴とする請求項４に記載の生成装置。
【請求項６】
前記生成部は、
前記コンテンツに関する対象に対応するカテゴリやキーワードに関する要素から予測される予測情報に基づいて、前記モデルの評価情報を生成する
ことを特徴とする請求項１〜５のいずれか１項に記載の生成装置。
【請求項７】
前記生成部は、
前記コンテンツに関連する統計的情報から予測される予測情報に基づいて、前記モデルの評価情報を生成する
ことを特徴とする請求項１〜６のいずれか１項に記載の生成装置。
【請求項８】
前記生成部は、
前記コンテンツ情報と、前記予測情報に基づく正解情報とに基づいて、前記モデルを生成する
ことを特徴とする請求項１〜７のいずれか１項に記載の生成装置。
【請求項９】
前記生成部は、
前記指標に対応する所定の行動が所定のユーザにより行われたコンテンツ情報と、前記所定のユーザが前記所定の行動を行ったことを示す正解情報とに基づいて、前記モデルを生成する
ことを特徴とする請求項１〜８のいずれか１項に記載の生成装置。
【請求項１０】
前記モデルが出力するスコアに基づいて、コンテンツを配信する配信部、
をさらに備えたことを特徴とする請求項１〜９のいずれか１項に記載の生成装置。
【請求項１１】
コンピュータが実行する生成方法であって、
コンテンツに関するコンテンツ情報を取得する取得工程と、
前記取得工程により取得されたコンテンツ情報を、前記コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することにより前記モデルから出力される出力値と、前記モデルとは異なる情報から予測される予測情報とに基づいて、前記モデルに関する評価情報を生成する生成工程と、
を含むことを特徴とする生成方法。
【請求項１２】
コンテンツに関するコンテンツ情報を取得する取得手順と、
前記取得手順により取得されたコンテンツ情報を、前記コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することにより前記モデルから出力される出力値と、前記モデルとは異なる情報から予測される予測情報とに基づいて、前記モデルに関する評価情報を生成する生成手順と、
をコンピュータに実行させることを特徴とする生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生成装置、生成方法、及び生成プログラムに関する。
【背景技術】
【０００２】
近年、インターネットの飛躍的な普及に伴い、電子商取引サービス等によるインターネットを介した販売が盛んになっている。例えば、異なる種類の複数のオンラインオークションからの類似商品の購入について入札アドバイスを提供する技術が提供されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２８１４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることが難しい場合がある。例えば、ある指標に関するログ情報が少ない場合等においては学習に用いる学習データの量が不十分である等により、その指標に対応するモデルを適切に生成可能にすることが難しい。
【０００５】
本願は、上記に鑑みてなされたものであって、ユーザの行動に関する指標に対応するモデルを適切に生成可能にする生成装置、生成方法、及び生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に係る生成装置は、コンテンツに関するコンテンツ情報を取得する取得部と、前記取得部により取得されたコンテンツ情報を、前記コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することにより前記モデルから出力される出力値と、前記モデルとは異なる情報から予測される予測情報とに基づいて、前記モデルに関する評価情報を生成する生成部と、を備えたことを特徴とする。
【発明の効果】
【０００７】
実施形態の一態様によれば、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る生成処理の一例を示す図である。
【図２】図２は、実施形態に係る配信処理の一例を示す図である。
【図３】図３は、実施形態に係る生成システムの構成例を示す図である。
【図４】図４は、実施形態に係る生成装置の構成例を示す図である。
【図５】図５は、実施形態に係る第１学習データ記憶部の一例を示す図である。
【図６】図６は、実施形態に係る予測用情報記憶部の一例を示す図である。
【図７】図７は、実施形態に係る第２学習データ記憶部の一例を示す図である。
【図８】図８は、実施形態に係るモデル情報記憶部の一例を示す図である。
【図９】図９は、実施形態に係るユーザ情報記憶部の一例を示す図である。
【図１０】図１０は、実施形態に係るログ情報記憶部の一例を示す図である。
【図１１】図１１は、実施形態に係る商品情報記憶部の一例を示す図である。
【図１２】図１２は、実施形態に係る生成処理の一例を示すフローチャートである。
【図１３】図１３は、実施形態に係る配信処理の一例を示すフローチャートである。
【図１４】図１４は、実施形態に係る所要時間に基づく倍率の変動を示す図である。
【図１５】図１５は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る生成装置、生成方法、及び生成プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法、及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１０】
（実施形態）
〔１．生成処理〕
まず、図１を用いて、実施形態に係る生成処理の一例について説明する。図１は、実施形態に係る生成処理の一例を示す図である。図１では、生成装置１００がコンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成する場合を示す。図１の例では、コンテンツに関するユーザの行動に関する指標として、配信されたコンテンツに対応する商品が早く売れるかを示す指標である場合を一例として示す。なお、配信されたコンテンツに対応する商品がコンテンツの配信開始から所定の期間内（例えば２４時間以内）にユーザに購入された場合に早く売れたものとする。なお、評価情報を生成する対象となる指標は、「早く売れる」に限らず、種々の指標であってもよい。例えば、モデルが対象とする指標は、「クリック率（ＣＴＲ：Click  Through  Rate）」「コンバージョン率（ＣＶＲ：Conversion  Rate）」や「高く売れる」等の種々の指標であってもよい。
【００１１】
〔生成システムの構成〕
まず、図１の説明に先立って、図３に示す生成システム１について説明する。図３に示すように、生成システム１は、端末装置１０と、生成装置１００とが含まれる。端末装置１０と、生成装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図３は、実施形態に係る生成システムの構成例を示す図である。なお、図３に示した生成システム１には、複数台の端末装置１０や、複数台の生成装置１００が含まれてもよい。
【００１２】
端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal  Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal  Digital  Assistant）等により実現される。図１に示す例においては、端末装置１０がユーザが利用するスマートフォンである場合を示す。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。例えば、図２では、端末装置１０がユーザＩＤ「Ｕ１０１」により識別されるユーザ（以下、「ユーザＵ１０１」とする場合がある）が利用するスマートフォンである場合を示す。なお、上記のように、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ１０１」と記載した場合、そのユーザはユーザＩＤ「Ｕ１０１」により識別されるユーザである。
【００１３】
生成装置１００は、コンテンツに関するコンテンツ情報を用いて、コンテンツに関するユーザの行動に対応する指標に基づく評価を示すスコアを出力するモデルを生成する情報処理装置である。また、生成装置１００は、モデルとは異なる情報から予測情報を生成する。図１の例では、生成装置１００は、コンテンツに関連する統計的情報から、スコアを予測する予測情報を生成する。また、生成装置１００は、コンテンツ情報を入力することによりモデルから出力される出力値（スコア）と、予測情報とに基づいて、モデルに関する評価情報を生成する。
【００１４】
また、生成システム１においては、生成装置１００が複数の販売元が提供する商品を購入可能な電子商取引サービスを提供する。すなわち、生成システム１においては、複数の販売元が提供する商品を購入可能な電子商取引サービスが提供される。
【００１５】
また、生成装置１００は電子商取引サービスや検索サービス等の種々のサービスを提供してもよい。また、外部の情報処理装置が検索サービスや電子商取引サービスを提供する場合、生成装置１００は検索サービスや電子商取引サービスを提供しなくてもよい。この場合、生成装置１００は、検索サービスや電子商取引サービスを提供する外部の情報処理装置等から各種情報を取得し、取得した各種情報に基づいて生成処理や外部の情報処理装置への情報提供を行ってもよい。
【００１６】
図１の例では、生成装置１００は、指標「クリック率（ＣＴＲ：Click  Through  Rate）」に対応するモデルＭ１を用いて、ユーザＵ１〜Ｕ５等の多数のユーザに対してコンテンツを配信しているものとする。すなわち、図１の例では、生成装置１００は、モデルＭ１の生成に十分な情報を取得済みであるものとする。例えば、生成装置１００は、指標「ＣＴＲ」に関するユーザの行動を正解情報としてモデルを生成する。以下では、正解情報が対応付けられた対象情報を「学習データ」ともいう。
【００１７】
例えば、生成装置１００は、正解情報を生成するための情報を収集する。図１の例では、生成装置１００は、商品ＧＤ１０１（Ａ商品）〜商品ＧＤ１０５（Ｅ商品）等のコンテンツをユーザに配信し、配信したコンテンツに対するユーザの行動に関する情報（行動情報）を取得する。
【００１８】
なお、上記のように、「商品ＧＤ＊（＊は任意の数値）」と記載した場合、その商品は商品ＩＤ「ＧＤ＊」により識別される商品であることを示す。例えば、「商品ＧＤ１」と記載した場合、その商品は商品ＩＤ「ＧＤ１」により識別される商品である。なお、以下では、「商品ＧＤ＊（＊は任意の数値）」の商品情報を「商品ＧＤ＊（＊は任意の数値）」と表記する場合がある。例えば、以下では、商品ＧＤ１を商品ＧＤ１の商品情報（コンテンツ）と読み替えることもできる。なお、図１中の第１学習データ記憶部１２１には、５人のユーザＵ１〜Ｕ５を図示するが、生成装置１００は、ユーザＵ１〜Ｕ５に限らず、多数のユーザ（例えば、１００万ユーザや１０００万ユーザ等）による配信されたコンテンツに対する行動情報を取得する。図１の例では、生成装置１００は、コンテンツを配信した商品ＧＤ１０１〜ＧＤ１０５等の各々に対応するデータＤＴ１０１〜ＤＴ１０５等を第１学習データ記憶部１２１に追加する。
【００１９】
なお、上記のように、「データＤＴ＊（＊は任意の数値）」と記載した場合、そのデータはデータＩＤ「ＤＴ＊」により識別されるデータであることを示す。例えば、「データＤＴ１」と記載した場合、そのデータはデータＩＤ「ＤＴ１」により識別されるデータである。
【００２０】
図１中の第１学習データ記憶部１２１に示す「データＩＤ」は、データを識別するための識別情報を示す。図１中の第１学習データ記憶部１２１に示す「対象商品」は、データＩＤにより識別されるデータに対象となる商品を示す。
【００２１】
図１中の第１学習データ記憶部１２１に示す「正解情報」は、データＩＤにより識別されるデータに対応する正解情報を示す。図１中の第１学習データ記憶部１２１に示す「正解情報」中の「クリック」は、対応する対象商品のコンテンツが配信先のユーザにクリックされたか否かを示す。例えば、「クリック」が「１」である場合、対応する対象商品のコンテンツが配信先のユーザにクリックされたことを示す。例えば、「クリック」が「０」である場合、対応する対象商品のコンテンツが配信先のユーザにクリックされなかったことを示す。
【００２２】
図１中の第１学習データ記憶部１２１に示す「予測情報」中の「早く売れる」は、対対応する対象商品のコンテンツの配信先となるユーザによって、その対象商品が早く購入される可能性をスコアで示すが、詳細は後述する。図１中の第１学習データ記憶部１２１に示す「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツに関する情報を示す。「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツの配信に関する情報を示す。
【００２３】
図１中の第１学習データ記憶部１２１に示す「コンテンツ情報」中の「コンテンツデータ」は、データＩＤにより識別されるデータに対応する配信においてユーザに提供されたコンテンツデータを示す。図５では「コンテンツデータ」に「ＣＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、コンテンツに関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「コンテンツデータ」には、対応商品に関する商品名やカテゴリや画像やタイトルや説明文等の文字情報等の種々の情報が含まれる。例えば、「コンテンツデータ」は、コンテンツに関する情報のうち、配信先となるユーザや配信日時により変動しない静的な情報であってもよい。例えば、「コンテンツデータ」には、フリーマーケット形式における契約が成立する価格やオークション形式においてオークション期間内であっても契約が成立する価格（即決価格）が含まれてもよい。以下、フリーマーケット形式を「フリマ形式」と記載し、即決価格が設定されたオークション形式を「即決オークション形式」と記載する場合がある。
【００２４】
図１中の第１学習データ記憶部１２１に示す「コンテンツ情報」中の「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信における履歴情報を示す。「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザや配信時点における種々の情報が含まれる。図５では「ログデータ」に「ＬＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、コンテンツ配信に関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザに関する情報が含まれてもよい。
【００２５】
また、例えば、「ログデータ」には、対象商品に関するユーザの行動（入札）等によって動的に変動する動的情報であって、コンテンツ配信時点における動的情報が含まれてもよい。例えば、「ログデータ」には、コンテンツ配信時点における現在価格や入札数や入札者数や残り時間等の種々の情報が含まれてもよい。なお、上記は一例であり、ログデータには、上記に限らず種々の情報が含まれてもよい。なお、「コンテンツデータ」と「ログデータ」とは、コンテンツに関する情報であれば、互いに重複する情報が含まれてもよい。
【００２６】
例えば、図１に示す例において、データＩＤ「ＤＴ１０１」により識別されるデータ（データＤＴ１０１）は、対象商品が商品ＧＤ１０１（Ａ商品）であることを示す。また、データＤＴ１０１は、正解情報のうち、「クリック」が「１」であることを示す。また、データＤＴ１０１は、コンテンツ情報のうち、「コンテンツデータ」が「ＣＤＴ１０１」であり、「ログデータ」が「ＬＤＴ１０１（Ｕ１等）」であることを示す。
【００２７】
すなわち、データＤＴ１０１は、商品ＧＤ１０１（Ａ商品）のコンテンツのユーザＵ１への配信に関するデータであることを示す。データＤＴ１０１は、配信された商品ＧＤ１０１のコンテンツをユーザＵ１がクリックしたことを示す。
【００２８】
なお、図１中の第１学習データ記憶部１２１には、図示を省略するが、正解情報には、指標「早く売れる」の項目が含まれる。例えば、図１中の第１学習データ記憶部１２１には、ごく少数のコンテンツ（例えば全体の１％未満等のコンテンツ）については、指標「早く売れる」についても正解情報も取得されているものとする。例えば、図１中の第１学習データ記憶部１２１には、フリマ形式や即決オークション形式で販売される商品に関するコンテンツについて、指標「早く売れる」についても正解情報も取得されているものとする。
【００２９】
例えば、図１中の第１学習データ記憶部１２１における正解情報の「早く売れる」は、対応する対象商品のコンテンツの配信先となるユーザが、その対象商品を購入したか否かを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されたことを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから２４時間内に、ユーザに購入されたことを示す。また、「早く売れる」が「１」である場合に示す時間は、対応する対象商品のコンテンツの配信が開始されてからユーザに購入されるまでに経過した時間を示す。また、例えば、「早く売れる」が「０」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されなかったことを示す。
【００３０】
例えば、図１の例では、第１学習データ記憶部１２１には、少数ではあるが、フリマ形式の商品ＧＤ５０１のコンテンツの配信開始から１時間後に、商品ＧＤ５０１をユーザＵ５０１が購入したこと等を示す学習データが含まれるものとする。図１の例では、生成装置１００は、第１学習データ記憶部１２１中のデータの中から、モデルＭ２の生成に利用可能な情報を用いて、モデルＭ２を生成する。
【００３１】
また、図１の例では、生成装置１００は、学習データに基づいて各モデルを生成済みであるものとする。例えば、生成装置１００は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。例えば、生成装置１００は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）として、学習を行なうことにより、モデルＭ１を生成する。
【００３２】
また、例えば、生成装置１００は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）のうち、モデルＭ２の生成に利用可能なデータを用いて、学習を行なうことにより、モデルＭ２を生成する。例えば、生成装置１００は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）のうち、指標「早く売れる」に対応する正解情報が対応付けられたデータを用いて、学習を行なうことにより、モデルＭ２を生成する。このように、図１の例では、生成装置１００は、第１学習データ記憶部１２１中のデータの中からモデルＭ２の生成に利用可能なデータを抽出し、抽出したデータを用いてモデルＭ２を生成する。そのため、図１の例では、生成装置１００は、モデルＭ１の生成に利用可能なデータ量よりも少ないデータ量のデータを用いて、モデルＭ２の生成を行うことになる。
【００３３】
例えば、生成装置１００は、コンテンツに関する特徴量を用いて、モデルを生成する。例えば、生成装置１００は、コンテンツの内容に関する特徴量を用いて、モデルを生成する。例えば、生成装置１００は、コンテンツに対応する商品に関する特徴量を用いて、モデルを生成する。例えば、生成装置１００は、コンテンツに対応する商品のカテゴリや販売モード等に関する特徴量を用いて、モデルを生成する。例えば、生成装置１００は、コンテンツの配信先となるユーザに関する特徴量を用いて、モデルを生成する。図１の例では、生成装置１００は、コンテンツ情報に含まれるそのコンテンツに対応する商品等に関する特徴を学習し、コンテンツに対応する商品がユーザに購入されたりするかを予測するモデルを生成する。なお、生成装置１００が学習するコンテンツ情報に含まれる特徴は、生成装置１００の管理者等の人間が生成装置１００に入力してもよいし、生成装置１００に自動的に学習（抽出）させてもよい。なお、生成装置１００は、モデルＭ１と同じ特徴量（素性）を用いて、モデルＭ２を生成してもよい。
【００３４】
例えば、生成装置１００は、商品ＧＤ５０１をユーザＵ５０１が購入したこと等を示すデータ等を用いてモデルＭ２を生成する。例えば、生成装置１００は、正解情報である指標「早く売れる」が「１」であるデータについては、モデルＭ２にそのデータ（以下、「早売れデータ」ともいう）に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。例えば、生成装置１００は、早売れデータのコンテンツデータやログデータ等がモデルＭ２に入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。なお、生成装置１００は、販売開始から購入されるまでの時間に基づいて、指標「早く売れる」について重み付けを変動させてもよいが、この点の詳細は後述する。
【００３５】
また、例えば、生成装置１００は、正解情報である指標「早く売れる」が「０」であるデータについては、モデルＭ２にそのデータ（以下、「非早売れデータ」ともいう）に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「０」に近づくように、学習処理を行う。例えば、生成装置１００は、非早売れデータのコンテンツデータやログデータ等がモデルＭ２に入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。
【００３６】
なお、モデルの学習手法については、上述した手法に限定されるものではなく、任意の公知技術が適用可能である。なお、各モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、ＳＶＭ（Support  Vector  Machine）等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習（ディープラーニング）の技術を用いて行われてもよい。例えば、モデルの生成は、ＤＮＮ（Deep  Neural  Network）やＲＮＮ（Recurrent  Neural  Network）やＣＮＮ（Convolutional  Neural  Network）等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。すなわち、生成装置１００は、学習データに含まれるコンテンツ情報が入力された場合に、正解情報に対応するスコアを出力するようにモデルＭ２を学習可能であれば、どのような手法によりモデルＭ２の生成を行ってもよい。
【００３７】
上記のような処理により、図１の例では、生成装置１００は、モデル情報記憶部１２４に示すように、モデルＩＤ「Ｍ２」により識別されるモデル（モデルＭ２）を生成する。上記のように、「モデルＭ＊（＊は任意の数値）」と記載した場合、そのモデルはモデルＩＤ「Ｍ＊」により識別されるモデルであることを示す。例えば、「モデルＭ２」と記載した場合、そのモデルはモデルＩＤ「Ｍ２」により識別されるモデルである。また、図１中のモデル情報記憶部１２４に示すように、モデルＭ２は予測の対象となる指標を示す予測対象「早く売れる」、すなわちユーザに配信されるコンテンツの対象となる商品がユーザに早く購入されるかの予測に用いられるモデルであり、その具体的なモデルデータが「モデルデータＭＤＴ２」であることを示す。例えば、生成装置１００は、モデルＭ２にコンテンツ情報を入力することにより、入力したコンテンツ情報に対応する商品が早く売れるかを示すスコアを、モデルＭ２に出力させる。そして、生成装置１００は、モデルＭ２が出力するスコアに基づいて、コンテンツに関するユーザの行動に対応する指標に対応するコンテンツの評価を予測する。具体的には、生成装置１００は、モデルＭ２が出力するスコアに基づいて、コンテンツに対応する商品が早く売れるかを示す指標「早く売れる」に対応するコンテンツの評価を予測する。
【００３８】
ここで、上記のように、生成装置１００は、異なる指標「ＣＴＲ」に対応するモデルＭ１を用いたコンテンツ配信においては、指標「早く売れる」に対応するモデルＭ２を生成するために十分な正解情報を取得できない場合が多い。そのため、生成装置１００は、モデルＭ２が精度よく指標「早く売れる」を予測できるかどうかを評価する必要がある。そこで、図１の例では、生成装置１００は、モデルＭ２が精度よく指標「早く売れる」を予測できるかどうかを評価するために評価情報を生成する。
【００３９】
まず、生成装置１００は、対象である指標「早く売れる」に対応する予測用情報を取得する（ステップＳ１１）。図１の例では、生成装置１００は、予測用情報記憶部１２２から指標「早く売れる」に対応する予測用情報する。
【００４０】
図１中の予測用情報記憶部１２２に示す「対象ＩＤ」は、対象を識別するための識別情報を示す。図１中の予測用情報記憶部１２２に示す「対象」は、対応する対象ＩＤにより識別される対象を示す。図１中の予測用情報記憶部１２２に示す「要素」には、「カテゴリ」や「キーワード」といった項目が含まれる。また、図１中の予測用情報記憶部１２２に示す「内容」には、「傾向」や「スコア」といった項目が含まれる。例えば、「傾向」は、各要素の統計的な傾向を示す。例えば、「スコア」は、各要素の統計的な傾向をスコアで示す。
【００４１】
図１中の予測用情報記憶部１２２に示す「カテゴリ」は、対応する対象に関するカテゴリごとの統計的な傾向を示す。「カテゴリ」には、「Ａカテゴリ」、「Ｂカテゴリ」、「Ｃカテゴリ」といった項目が含まれる。また、例えば、「Ａカテゴリ」等のカテゴリは、「ファッション」や「食品」等であってもよい。また、例えば、「Ａカテゴリ」等のカテゴリは、「靴」や「飲料水」等であってもよい。例えば、「カテゴリ」には、種々の階層のカテゴリが含まれてもよい。
【００４２】
また、図１中の予測用情報記憶部１２２に示す「キーワード」は、対応する対象に関するキーワードごとの統計的な傾向を示す。「キーワード」には、「キーワードＡ」、「キーワードＢ」といった項目が含まれる。例えば、「キーワードＡ」等のキーワードは、具体的な商品名等に限らず、その略称や俗称等であってもよいし、「キーワードＡ」等のキーワードは、「再入荷」や「人気商品」や「現品限り」や「即日配送」等であってもよい。
【００４３】
例えば、図１に示す例において、対象ＩＤ「ＴＧ１」により識別される対象（対象ＴＧ１）は、対象「早く売れる」であり、ユーザに配信されるコンテンツの対象となる商品がユーザに早く購入されることを示す。
【００４４】
また、対象ＴＧ１は、Ａカテゴリの傾向が「中（平均Ａ時間）」であり、スコアが「０．２」であることを示す。例えば、対象ＴＧ１は、商品のカテゴリがＡカテゴリである場合、その商品は平均Ａ時間で購入されており、早く売れる傾向が中程度であり、その評価を示すスコアが「０．２」であることを示す。
【００４５】
例えば、スコアが「１」に近い程、そのカテゴリに属する商品が早く売れる可能性が高いことを示す。例えば、各カテゴリのスコアは、全カテゴリの商品が購入されるまでの平均時間に対して、そのカテゴリの商品が購入されるまでの平均時間が短い程、「１」に近くなってもよい。なお、上記は一例であり、各カテゴリのスコアは、種々の情報を適宜用いて決定されてもよい。例えば、生成装置１００は、ＡＵＣ(Area Under the Curve)等の種々の統計的な情報を用いて、各カテゴリのスコアを決定してもよい。
【００４６】
また、対象ＴＧ１は、Ｂカテゴリの傾向が「高（平均Ｂ時間）」であり、スコアが「０．５」であることを示す。例えば、対象ＴＧ１は、商品のカテゴリがＢカテゴリである場合、その商品は平均Ｂ時間で購入されており、早く売れる傾向が高く、その評価を示すスコアが「０．５」であることを示す。
【００４７】
また、対象ＴＧ１は、キーワードＡの傾向が「低（平均Ｄ時間）」であり、スコアが「０．０５」であることを示す。例えば、対象ＴＧ１は、商品のコンテンツ情報中にキーワードＡが含まれる場合、その商品は平均Ｄ時間で購入されており、早く売れる傾向が低く、その評価を示すスコアが「０．０５」であることを示す。
【００４８】
例えば、スコアが「１」に近い程、そのキーワードがコンテンツ情報に含まれる商品が早く売れる可能性が高いことを示す。例えば、各キーワードのスコアは、全キーワードの商品が購入されるまでの平均時間に対して、そのキーワードがコンテンツ情報に含まれる商品が購入されるまでの平均時間が短い程、「１」に近くなってもよい。なお、上記は一例であり、各キーワードのスコアは、種々の情報を適宜用いて決定されてもよい。
【００４９】
また、対象ＴＧ１は、キーワードＢの傾向が「高（平均Ｅ時間）」であり、スコアが「０．６」であることを示す。例えば、対象ＴＧ１は、商品のコンテンツ情報中にキーワードＢが含まれる場合、その商品は平均Ｅ時間で購入されており、早く売れる傾向が高く、その評価を示すスコアが「０．６」であることを示す。
【００５０】
なお、図１の例では、生成装置１００は、予測用情報記憶部１２２に示すような予測用情報を取得済みであるものとする。例えば、生成装置１００は、過去のコンテンツ配信における商品の購入情報に基づいて、予測用情報記憶部１２２に示すような予測用情報を生成してもよいし、外部装置から取得してもよい。
【００５１】
また、生成装置１００は、指標「早く売れる」に対応する予測情報を生成する（ステップＳ１２）。図１の例では、生成装置１００は、第１学習データ記憶部１２１に示すように、データＤＴ１０１〜ＤＴ１０５等について、指標「早く売れる」に対応する予測情報を生成する。例えば、生成装置１００は、データＤＴ１０１〜ＤＴ１０５等について、各データに対応する商品のカテゴリやコンテンツデータに含まれるキーワード等に基づいて、指標「早く売れる」に対応する予測情報を生成する。例えば、生成装置１００は、カテゴリごとの早く売れた配信数の割合や、早く売れた商品に共通する単語（キーワード）の類似性等に基づいて、指標「早く売れる」に対応する予測情報を生成する。
【００５２】
例えば、生成装置１００は、データＤＴ１０１の商品ＧＤ１０１が属するカテゴリのスコアや、コンテンツデータＣＤＴ１０１に含まれる各キーワードのスコアに基づいて、データＤＴ１０１の指標「早く売れる」に対応するスコアとして算出する。例えば、生成装置１００は、データＤＴ１０１の商品ＧＤ１０１が属するカテゴリのスコア、及びコンテンツデータＣＤＴ１０１に含まれる各キーワードのスコアの平均を、データＤＴ１０１の指標「早く売れる」に対応するスコアとして算出してもよい。なお、上記は一例であり、生成装置１００は、種々の情報を適宜用いて、データＤＴ１０１の指標「早く売れる」に対応する予測情報（スコア）として算出してもよい。
【００５３】
図１の例では、生成装置１００は、データＤＴ１０１（Ａ商品）について、指標「早く売れる」の予測情報をスコア「０．５」と算出する。また、生成装置１００は、データＤＴ１０２（Ｂ商品）について、指標「早く売れる」の予測情報をスコア「０．７５」と算出する。
【００５４】
そして、生成装置１００は、評価対象となるモデルを選択する（ステップＳ１３）。図１の例では、生成装置１００は、評価対象となる指標「早く売れる」に対応するモデルＭ２を選択する。
【００５５】
そして、生成装置１００は、コンテンツ情報をモデルＭ２に入力することにより、モデルＭ２にスコアを出力させる。図１の例では、生成装置１００は、第１学習データ記憶部１２１に記憶された各商品ＧＤ１０１〜ＧＤ１０５等のコンテンツデータやログデータ等を、モデルＭ２に入力する。
【００５６】
図１の例では、生成装置１００は、処理群ＰＳ１２−１に示すような処理により、商品ＧＤ１０１（Ａ商品）が配信先となるユーザＵ１に早く売れる可能性を示すスコアを算出する。生成装置１００は、コンテンツ情報ＤＴ１０１をモデルＭ２に入力する（ステップＳ１４−１）。具体的には、生成装置１００は、Ａ商品のコンテンツデータＣＤＴ１０１やユーザＵ１に関する情報等を含むデータＤＴ１０１をモデルＭ２に入力する。データＤＴ１が入力されたモデルＭ２は、スコアを出力する（ステップＳ１５−１）。図１の例では、データＤＴ１０１が入力されたモデルＭ２は、スコアＳＣ１−１に示すようなスコア「０．５５」を出力する。
【００５７】
また、生成装置１００は、処理群ＰＳ１２−２に示すような処理により、商品ＧＤ１０２（Ｂ商品）が配信先となるユーザＵ２に早く売れる可能性を示すスコアを算出する。生成装置１００は、コンテンツ情報ＤＴ１０２をモデルＭ２に入力する（ステップＳ１４−２）。具体的には、生成装置１００は、Ｂ商品のコンテンツデータＣＤＴ１０２やユーザＵ２に関する情報等を含むデータＤＴ１０２をモデルＭ２に入力する。データＤＴ１０２が入力されたモデルＭ２は、スコアを出力する（ステップＳ１５−２）。図１の例では、データＤＴ２が入力されたモデルＭ２は、スコアＳＣ１−２に示すようなスコア「０．５」を出力する。
【００５８】
図１の例では、生成装置１００は、処理群ＰＳ１２−１、ＰＳ１２−２等に示すような処理により、各商品ＧＤ１０１〜ＧＤ１０５等に対応するスコアを含むスコア一覧を生成する（ステップＳ１６）。図１の例では、生成装置１００は、スコア一覧ＳＬ１に示すように、各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアを予測する。
【００５９】
そして、生成装置１００は、モデルＭ２の出力値と、予測情報とに基づいて、評価情報を生成する（ステップＳ１７）。図１の例では、生成装置１００は、スコア一覧ＳＬ１に示すような各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアと、第１学習データ記憶部１２１に示す指標「早く売れる」に対応する予測情報とに基づいて、評価情報を生成する。
【００６０】
例えば、生成装置１００は、スコア一覧ＳＬ１に示すような各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアと、第１学習データ記憶部１２１に示す指標「早く売れる」に対応する予測情報（スコア）との比較に基づいて、評価情報を生成する。
【００６１】
例えば、生成装置１００は、モデルＭ２が出力した各商品のスコア（出力スコア）と、予測情報であるスコア（予測スコア）との差に応じて、評価情報を生成する。例えば、生成装置１００は、各商品の出力スコアと、各商品の予測スコアとの差の平均（誤差平均）と、所定の閾値との比較に応じて、評価情報を生成する。
【００６２】
例えば、生成装置１００は、評価対象のモデルの誤差平均が第１閾値未満である場合、モデルの精度を「低」とする評価情報を生成する。また、例えば、生成装置１００は、評価対象のモデルの誤差平均が第１閾値以上であり、かつ第１閾値より大きい第２閾値未満である場合、モデルの精度を「中」とする評価情報を生成する。また、例えば、生成装置１００は、評価対象のモデルの誤差平均が第２閾値以上である場合、モデルの精度を「高」とする評価情報を生成する。
【００６３】
図１の例では、生成装置１００は、評価情報ＲＰ１１を生成する。例えば、生成装置１００は、評価対象のモデルＭ２の誤差平均を、第１閾値未満である誤差ＥＲ１と算出する。そして、生成装置１００は、評価対象のモデルＭ２の精度を「低」とする評価情報ＲＰ１１を生成する。このように、図１の例では、生成装置１００は、モデルの生成に利用できるデータが十分でない指標「早く売れる」を対象とするモデルについて、他の情報を用いて評価を行うことにより、モデルの生成に十分なデータが無い場合であってもモデルの精度を評価することが可能となる。また、生成装置１００は、モデルの精度が低い場合に、そのモデルの精度を向上させるように、評価情報を基にモデルを更新することにより、データが十分でない状態であっても、利用可能なモデルを生成し、そのモデルの精度を徐々に向上させることが可能となる。例えば、生成装置１００は、モデルが出力するスコアが予測情報の値（スコア）に近づくように、モデルを更新することにより、データが十分でない状態であっても、そのモデルの精度を向上させることが可能となる。
【００６４】
上述したように、生成装置１００は、コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成することができる。したがって、生成装置１００は、上述のようにモデルを評価する評価情報を生成することにより、モデルの精度を評価可能にすることができる。そのため、生成装置１００は、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。また、生成装置１００は、過去の配信された履歴の情報を用いて、モデルを評価することにより、ランダム配信等によりそのモデルを評価するための情報を取得するための処理を行うことなく、対応するデータが十分でないモデルの評価が可能となる。具体的には、生成装置１００は、統計的な傾向を示す情報を用いてモデルを評価することにより、実際にそのモデルを使って履歴を収集するような処理（ライブテスト）を行うことなく、既に取得済みの情報（オフラインデータ）により、モデルの評価が可能となる。すなわち、生成装置１００は、ログにより評価できないようなロジック（モデル）であっても、既に取得済みの情報（オフラインデータ）により、モデルの評価が可能となる。図１の例では、生成装置１００は、ＣＴＲに基づくログでは評価が難しい、早く売れるを対象とするモデルＭ２の評価が、早く売れるに対応するログが少ない状態であっても可能となる。
【００６５】
〔２．配信処理〕
図２を用いて、実施形態に係る配信処理の一例について説明する。図２は、実施形態に係る配信処理の一例を示す図である。図２では、生成装置１００は、ユーザからの配信要求を取得した場合に、予測したスコアに基づいてコンテンツを配信する場合を示す。また、図２の例では、生成装置１００は、モデルＭ２を用いて配信したコンテンツに関する情報を用いて、モデルＭ２を更新する。
【００６６】
まず、生成装置１００は、コンテンツの配信要求を取得する（ステップＳ２１）。図２の例では、生成装置１００は、ユーザＵ１０１が利用する端末装置１０からコンテンツの配信要求を取得する。
【００６７】
コンテンツの配信要求を取得した生成装置１００は、コンテンツ情報をモデルに入力することにより、スコアを予測する。例えば、生成装置１００は、商品情報記憶部１２７に記憶された各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のコンテンツデータや配信先となるユーザＵ１０１に関する情報を、モデルＭ２に入力する。
【００６８】
図２の例では、生成装置１００は、処理群ＰＳ２２−１に示すような処理により、商品ＧＤ１（Ｖ商品）が配信先となるユーザＵ１０１に早く売れる可能性を示すスコアを算出する。生成装置１００は、コンテンツ情報ＤＴ１をモデルＭ２に入力する（ステップＳ２２−１）。具体的には、生成装置１００は、Ｖ商品のコンテンツデータＣＤＴ１やユーザＵ１０１に関する情報等を含むデータＤＴ１をモデルＭ２に入力する。データＤＴ１が入力されたモデルＭ２は、スコアを出力する（ステップＳ２３−１）。図２の例では、データＤＴ１が入力されたモデルＭ２は、スコアＳＣ１１−１に示すようなスコア「０．５６」を出力する。
【００６９】
また、生成装置１００は、処理群ＰＳ２２−２に示すような処理により、商品ＧＤ２（Ｗ商品）が配信先となるユーザＵ１０１に早く売れる可能性を示すスコアを算出する。生成装置１００は、コンテンツ情報ＤＴ２をモデルＭ２に入力する（ステップＳ２２−２）。具体的には、生成装置１００は、Ｗ商品のコンテンツデータＣＤＴ２やユーザＵ１０１に関する情報等を含むデータＤＴ２をモデルＭ２に入力する。データＤＴ２が入力されたモデルＭ２は、スコアを出力する（ステップＳ２３−２）。図２の例では、データＤＴ２が入力されたモデルＭ２は、スコアＳＣ１１−２に示すようなスコア「０．５８」を出力する。
【００７０】
図２の例では、生成装置１００は、処理群ＰＳ２２−１、ＰＳ２２−２等に示すような処理により、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアを予測する（ステップＳ２４）。図２の例では、生成装置１００は、スコア一覧ＳＬ１１に示すように、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアを予測する。また、生成装置１００は、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアに基づいて、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のランキングを予測する。図２の例では、生成装置１００は、スコアが高い方から順に、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のランキングを高く予測する。
【００７１】
その後、生成装置１００は、予測結果に基づいてコンテンツ配信を行う（ステップＳ２５）。例えば、生成装置１００は、スコアが高い方から順にコンテンツを配信する。図２の例では、生成装置１００は、商品ＧＤ５（Ｚ商品）、商品ＧＤ１０２（Ｂ商品）、商品ＧＤ２（Ｗ商品）、商品ＧＤ１（Ｖ商品）の順にコンテンツをユーザＵ１０１が利用する端末装置１０に配信する。例えば、生成装置１００は、商品ＧＤ５（Ｚ商品）、商品ＧＤ１０２（Ｂ商品）、商品ＧＤ２（Ｗ商品）、商品ＧＤ１（Ｖ商品）の順に一覧表示されるコンテンツを端末装置１０に配信する。
【００７２】
その後、生成装置１００は、ユーザＵ１０１から配信したコンテンツに対応する商品の購入情報を取得する（ステップＳ２６）。図２の例では、生成装置１００は、端末装置１０からユーザＵ１０１がＺ商品を購入したことを示す行動情報を取得する。なお、生成装置１００は、端末装置１０以外の他の外部装置からユーザＵ１０１がＺ商品を購入したことを示す行動情報を取得してもよい。また、図２の例では、ユーザＵ１０１がＺ商品を購入した時点が、Ｚ商品のコンテンツの配信開始後から３時間が経過した時点であるものとする。
【００７３】
そして、生成装置１００は、ステップＳ２６において取得した情報に基づいて、学習データを追加する（ステップＳ２７）。例えば、生成装置１００は、配信したコンテンツに関する情報と、配信したコンテンツに対するユーザの行動を正解情報との組み合わせを学習データとして追加する。具体的には、生成装置１００は、コンテンツを配信した商品ＧＤ５に対応するデータＤＴ２０１等を第２学習データ記憶部１２３に追加する。なお、説明のために、第２学習データ記憶部１２３と第１学習データ記憶部１２１とを別に図示するが、第２学習データ記憶部１２３と第１学習データ記憶部１２１とは同一の記憶部であってもよい。
【００７４】
図２中の第２学習データ記憶部１２３に示す「データＩＤ」は、データを識別するための識別情報を示す。図２中の第２学習データ記憶部１２３に示す「対象商品」は、データＩＤにより識別されるデータに対象となる商品を示す。
【００７５】
図２中の第２学習データ記憶部１２３に示す「正解情報」中の「早く売れる」は、対応する対象商品のコンテンツの配信先となるユーザが、その対象商品を購入したか否かを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されたことを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから２４時間内に、ユーザに購入されたことを示す。また、「早く売れる」が「１」である場合に示す時間は、対応する対象商品のコンテンツの配信が開始されてからユーザに購入されるまでに経過した時間を示す。また、例えば、「早く売れる」が「０」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されなかったことを示す。
【００７６】
図２中の第２学習データ記憶部１２３に示す「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツに関する情報を示す。「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツの配信に関する情報を示す。
【００７７】
図２中の第２学習データ記憶部１２３に示す「コンテンツ情報」は、図１中の第１学習データ記憶部１２１中の「コンテンツデータ」と同様であるため、説明を省略する。
【００７８】
例えば、図２に示す例において、データＩＤ「ＤＴ２０１」により識別されるデータ（データＤＴ２０１）は、対象商品が商品ＧＤ５（Ｚ商品）であることを示す。また、データＤＴ２０１は、正解情報のうち、「早く売れる」が「１（３時間）」であることを示す。また、データＤＴ２０１は、コンテンツ情報のうち、「コンテンツデータ」が「ＣＤＴ５」であり、「ログデータ」が「ＬＤＴ５（Ｕ１０１等）」であることを示す。
【００７９】
すなわち、データＤＴ２０１は、商品ＧＤ５（Ｚ商品）のコンテンツのユーザＵ１０１への配信に関するデータであることを示す。データＤＴ２０１は、配信された商品ＧＤ５をユーザＵ１０１が購入したことを示す。また、データＤＴ２０１は、ユーザＵ１０１による商品ＧＤ５の購入が商品ＧＤ５のコンテンツの配信開始から３時間後であることを示す。
【００８０】
そして、生成装置１００は、学習データに基づいてモデルを更新する（ステップＳ２８）。例えば、生成装置１００は、第２学習データ記憶部１２３中のデータＤＴ２０１等を学習データ（教師データ）として、モデルＭ２を更新する。例えば、生成装置１００は、正解情報である指標「早く売れる」が「１」であるデータＤＴ２０１については、モデルＭ２にデータＤＴ２０１に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、モデルＭ２の更新を行う。
【００８１】
上述したように、生成装置１００は、モデルを用いることにより、コンテンツに対応する商品がユーザに早く購入されるかの度合いを示すスコアを予測（生成）する。例えば、図２の例では、生成装置１００は、Ｖ商品のコンテンツデータＣＤＴ１やユーザＵ１０１に関する情報等を含むデータＤＴ１をモデルＭ２に入力することにより、モデルＭ２にユーザＵ１０１にＶ商品が早く購入される度合いを示すスコアを出力させる。また、図２の例では、生成装置１００は、他の各商品についての同様に、モデルＭ２にユーザＵ１０１に各商品が早く購入される度合いを示すスコアを出力させる。そして、図２の例では、生成装置１００は、スコアが高い商品のコンテンツが優先してユーザに視認されるように、ユーザＵ１０１の端末装置１０にコンテンツを配信する。これにより、生成装置１００は、商品が購入されるコンテンツを優先してユーザに提供することができる。
【００８２】
また、生成装置１００は、モデルＭ２を用いて配信したコンテンツに関する情報を用いて、モデルＭ２を更新する。これにより、生成装置１００は、さらにモデルＭ２の予測精度を向上させることができる。このように、図２の例では、生成装置１００は、モデルの生成に利用できるデータが十分でない指標「早く売れる」を対象とするモデルについて、生成後においても、追加されたデータを用いて、モデルを更新することにより、モデルの精度を向上させることができる。すなわち、生成装置１００は、モデルをモデル生成に用いた情報以外の情報を用いて評価するとともに、生成したモデルをデータの追加に応じて更新することにより、データが十分でない状態であっても、利用可能なモデルを生成し、そのモデルの精度を徐々に向上させることが可能となる。
【００８３】
（２−１．売れるまでの時間に基づく重み予測の対象）
なお、図１の例では、説明を簡単にするために、早く売れた場合、その経過時間に関わらず同じスコアとする場合を示したが、生成装置１００は、売れるまでの時間に応じて重み付けしたスコアを設定してもよい。この点について、図１４を用いて説明する。図１４は、実施形態に係る所要時間に基づく倍率の変動を示す図である。
【００８４】
図１４に示すように、生成装置１００は、販売開始から所定の期間内にユーザに購入された商品であっても、販売開始からの経過時間が短い程、重みを大きくしてもよい。例えば、生成装置１００は、販売開始から所定の期間内にユーザに購入された商品であっても、販売開始からの経過時間が短い程、大きなスコアとなるようにモデルを生成してもよい。
【００８５】
第２倍率α２は、第１倍率α１よりも、販売開始時点の重みと閾値における重みとの差が小さい倍率である。すなわち、第２倍率α２は、第１倍率α１よりも、時間経過に伴う重みの低下の割合が小さい倍率である。また、第３倍率α３は、第２倍率α２よりも、販売開始時点の重みと閾値における重みとの差が小さい倍率である。すなわち、第３倍率α３は、第２倍率α２よりも、時間経過に伴う重みの低下の割合が小さい倍率である。生成装置１００は、このように重みが異なる複数の倍率を用いて、モデルの生成等を行ってもよい。
【００８６】
例えば、生成装置１００は、第１倍率α１、第２倍率α２、第３倍率α３等の種々の倍率のうち、最も予測精度が高い倍率を用いてモデルを生成してもよい。例えば、生成装置１００は、第１倍率α１、第２倍率α２、第３倍率α３等の種々の倍率の各々に基づいて、複数のモデルを生成し、生成した複数のモデルのうち、最も予測精度が高いモデルを用いてコンテンツ配信等を行ってもよい。
【００８７】
〔３．生成装置の構成〕
次に、図４を用いて、実施形態に係る生成装置１００の構成について説明する。図４は、実施形態に係る生成装置の構成例を示す図である。図４に示すように、生成装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、生成装置１００は、生成装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【００８８】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部１１０は、ネットワークＮと有線または無線で接続され、端末装置１０との間で情報の送受信を行う。
【００８９】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図４に示すように、第１学習データ記憶部１２１と、予測用情報記憶部１２２と、第２学習データ記憶部１２３と、モデル情報記憶部１２４と、ユーザ情報記憶部１２５と、ログ情報記憶部１２６と、商品情報記憶部１２７とを有する。
【００９０】
（第１学習データ記憶部１２１）
実施形態に係る第１学習データ記憶部１２１は、学習データに関する各種情報を記憶する。図５は、実施形態に係る第１学習データ記憶部の一例を示す図である。例えば、第１学習データ記憶部１２１は、モデルの生成に用いる教師データを記憶する。図５に示す第１学習データ記憶部１２１には、「データＩＤ」、「対象商品」、「正解情報」、「予測情報」、「コンテンツ情報」といった項目が含まれる。「正解情報」には、「クリック」といった項目が含まれる。「予測情報」には、「早く売れる」といった項目が含まれる。また、「コンテンツ情報」には、「コンテンツデータ」、「ログデータ」といった項目が含まれる。
【００９１】
「データＩＤ」は、データを識別するための識別情報を示す。例えば、データＩＤ「ＤＴ１０１」により識別されるデータは、図１の例に示した、データＤＴ１０１に対応する。「対象商品」は、データＩＤにより識別されるデータに対象となる商品を示す。
【００９２】
「正解情報」は、データＩＤにより識別されるデータに対応する正解情報を示す。「正解情報」中の「クリック」は、対応する対象商品のコンテンツが配信先のユーザにクリックされたか否かを示す。例えば、「クリック」が「１」である場合、対応する対象商品のコンテンツが配信先のユーザにクリックされたことを示す。例えば、「クリック」が「０」である場合、対応する対象商品のコンテンツが配信先のユーザにクリックされなかったことを示す。
【００９３】
「予測情報」中の「早く売れる」は、対対応する対象商品のコンテンツの配信先となるユーザによって、その対象商品が早く購入される可能性をスコアで示す。例えば、「早く売れる」は、スコアが高い程、ユーザによって早く購入される可能性が高いことを示す。例えば、「早く売れる」が「１」に近い程、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入される可能性が高いことを示す。例えば、「早く売れる」が「１」に近い程、対応する対象商品のコンテンツの配信が開始されてから２４時間内に、ユーザに購入される可能性が高いことを示す。また、例えば、「早く売れる」が「０」に近い程、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入される可能性が低いことを示す。
【００９４】
「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツに関する情報を示す。「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツの配信に関する情報を示す。
【００９５】
「コンテンツ情報」中の「コンテンツデータ」は、データＩＤにより識別されるデータに対応する配信においてユーザに提供されたコンテンツデータを示す。図５では「コンテンツデータ」に「ＣＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、コンテンツに関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「コンテンツデータ」には、対応商品に関する商品名やカテゴリや画像やタイトルや説明文等の文字情報等の種々の情報が含まれる。例えば、「コンテンツデータ」は、コンテンツに関する情報のうち、配信先となるユーザや配信日時により変動しない静的な情報であってもよい。例えば、「コンテンツデータ」には、フリーマーケット形式における契約が成立する価格やオークション形式においてオークション期間内であっても契約が成立する価格（即決価格）が含まれてもよい。
【００９６】
「コンテンツ情報」中の「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信における履歴情報を示す。「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザや配信時点における種々の情報が含まれる。図５では「ログデータ」に「ＬＤＴ１０１」といった概念的な情報が格納される例を示したが、実際には、コンテンツ配信に関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザに関する情報が含まれてもよい。
【００９７】
また、例えば、「ログデータ」には、対象商品に関するユーザの行動（入札）等によって動的に変動する動的情報であって、コンテンツ配信時点における動的情報が含まれてもよい。例えば、「ログデータ」には、コンテンツ配信時点における現在価格や入札数や入札者数や残り時間等の種々の情報が含まれてもよい。なお、上記は一例であり、ログデータには、上記に限らず種々の情報が含まれてもよい。なお、「コンテンツデータ」と「ログデータ」とは、コンテンツに関する情報であれば、互いに重複する情報が含まれてもよい。
【００９８】
例えば、図５に示す例において、データＩＤ「ＤＴ１０１」により識別されるデータ（データＤＴ１０１）は、対象商品が商品ＧＤ１０１（Ａ商品）であることを示す。また、データＤＴ１０１は、正解情報の「クリック」が「１」であることを示す。また、データＤＴ１０１は、予測情報の「早く売れる」が「０．５」であることを示す。また、データＤＴ１０１は、コンテンツ情報のうち、「コンテンツデータ」が「ＣＤＴ１０１」であり、「ログデータ」が「ＬＤＴ１０１（Ｕ１等）」であることを示す。
【００９９】
すなわち、データＤＴ１０１は、商品ＧＤ１０１（Ａ商品）のコンテンツのユーザＵ１への配信に関するデータであることを示す。データＤＴ１０１は、配信された商品ＧＤ１０１のコンテンツをユーザＵ１がクリックしたことを示す。また、データＤＴ１０１は、配信された商品ＧＤ１０１をユーザＵ１が早く購入する可能性が中程度（例えば５０％等）であることを示す。
【０１００】
なお、第１学習データ記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、第１学習データ記憶部１２１は、学習データが追加された日時に関する情報を記憶してもよい。また、例えば、第１学習データ記憶部１２１は、各学習データがどのような判定処理により追加されたかを示す情報を記憶してもよい。例えば、第１学習データ記憶部１２１は、予測情報の生成にどのような情報を用いたかを示す情報を記憶してもよい。
【０１０１】
（予測用情報記憶部１２２）
実施形態に係る予測用情報記憶部１２２は、予測情報を生成するため用いる各種情報を記憶する。図６は、実施形態に係る予測用情報記憶部の一例を示す図である。例えば、予測用情報記憶部１２２は、予測情報を生成する統計的な傾向を示す情報を記憶する。図６に示す予測用情報記憶部１２２には、「対象ＩＤ」、「対象」、「カテゴリ」、「キーワード」といった項目が含まれる。
【０１０２】
「対象ＩＤ」は、対象を識別するための識別情報を示す。例えば、「対象ＩＤ」は、予測情報を生成する対象を識別するための識別情報を示す。「対象」は、対応する対象ＩＤにより識別される対象を示す。「要素」には、「カテゴリ」や「キーワード」といった項目が含まれる。また、「内容」には、「傾向」や「スコア」といった項目が含まれる。例えば、「傾向」は、各要素の統計的な傾向を示す。例えば、「スコア」は、各要素の統計的な傾向をスコアで示す。
【０１０３】
「カテゴリ」は、対応する対象に関するカテゴリごとの統計的な傾向を示す。「カテゴリ」には、「Ａカテゴリ」、「Ｂカテゴリ」、「Ｃカテゴリ」といった項目が含まれる。なお、図６に示す例では、「カテゴリ」は、「Ａカテゴリ」といった抽象的な符号を図示するが、具体的なカテゴリ名等を示す情報であってもよい。また、例えば、「Ａカテゴリ」等のカテゴリは、「ファッション」や「食品」等であってもよい。また、例えば、「Ａカテゴリ」等のカテゴリは、「靴」や「飲料水」等であってもよい。例えば、「カテゴリ」には、種々の階層のカテゴリが含まれてもよい。
【０１０４】
また、「キーワード」は、対応する対象に関するキーワードごとの統計的な傾向を示す。「キーワード」には、「キーワードＡ」、「キーワードＢ」といった項目が含まれる。なお、図６に示す例では、「キーワード」は、「キーワードＡ」といった抽象的な符号を図示するが、具体的な商品名等の文字列等の情報であってもよい。例えば、「キーワードＡ」等のキーワードは、具体的な商品名等に限らず、その略称や俗称等であってもよいし、「キーワードＡ」等のキーワードは、「再入荷」や「人気商品」や「現品限り」や「即日配送」等であってもよい。
【０１０５】
例えば、図６に示す例において、対象ＩＤ「ＴＧ１」により識別される対象（対象ＴＧ１）は、対象「早く売れる」であり、ユーザに配信されるコンテンツの対象となる商品がユーザに早く購入されることを示す。
【０１０６】
また、対象ＴＧ１は、Ａカテゴリの傾向が「中（平均Ａ時間）」であり、スコアが「０．２」であることを示す。例えば、対象ＴＧ１は、商品のカテゴリがＡカテゴリである場合、その商品は平均Ａ時間で購入されており、早く売れる傾向が中程度であり、その評価を示すスコアが「０．２」であることを示す。
【０１０７】
また、対象ＴＧ１は、Ｂカテゴリの傾向が「高（平均Ｂ時間）」であり、スコアが「０．５」であることを示す。例えば、対象ＴＧ１は、商品のカテゴリがＢカテゴリである場合、その商品は平均Ｂ時間で購入されており、早く売れる傾向が高く、その評価を示すスコアが「０．５」であることを示す。
【０１０８】
また、対象ＴＧ１は、キーワードＡの傾向が「低（平均Ｄ時間）」であり、スコアが「０．０５」であることを示す。例えば、対象ＴＧ１は、商品のコンテンツ情報中にキーワードＡが含まれる場合、その商品は平均Ｄ時間で購入されており、早く売れる傾向が低く、その評価を示すスコアが「０．０５」であることを示す。
【０１０９】
また、対象ＴＧ１は、キーワードＢの傾向が「高（平均Ｅ時間）」であり、スコアが「０．６」であることを示す。例えば、対象ＴＧ１は、商品のコンテンツ情報中にキーワードＢが含まれる場合、その商品は平均Ｅ時間で購入されており、早く売れる傾向が高く、その評価を示すスコアが「０．６」であることを示す。
【０１１０】
なお、予測用情報記憶部１２２は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。
【０１１１】
（第２学習データ記憶部１２３）
実施形態に係る第２学習データ記憶部１２３は、学習データに関する各種情報を記憶する。図７は、実施形態に係る第２学習データ記憶部の一例を示す図である。例えば、第２学習データ記憶部１２３は、モデルの生成に用いる教師データを記憶する。図７に示す第２学習データ記憶部１２３には、「データＩＤ」、「対象商品」、「正解情報」、「コンテンツ情報」といった項目が含まれる。「正解情報」には、「早く売れる」といった項目が含まれる。また、「コンテンツ情報」には、「コンテンツデータ」、「ログデータ」といった項目が含まれる。
【０１１２】
「データＩＤ」は、データを識別するための識別情報を示す。例えば、データＩＤ「ＤＴ２０１」により識別されるデータは、図２の例に示した、データＤＴ２０１に対応する。「対象商品」は、データＩＤにより識別されるデータに対象となる商品を示す。
【０１１３】
「正解情報」は、データＩＤにより識別されるデータに対応する正解情報を示す。「正解情報」中の「早く売れる」は、対応する対象商品のコンテンツの配信先となるユーザが、その対象商品を購入したか否かを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されたことを示す。例えば、「早く売れる」が「１」である場合、対応する対象商品のコンテンツの配信が開始されてから２４時間内に、ユーザに購入されたことを示す。また、「早く売れる」が「１」である場合に示す時間は、対応する対象商品のコンテンツの配信が開始されてからユーザに購入されるまでに経過した時間を示す。また、例えば、「早く売れる」が「０」である場合、対応する対象商品のコンテンツの配信が開始されてから所定の期間内に、ユーザに購入されなかったことを示す。
【０１１４】
「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツに関する情報を示す。「コンテンツ情報」は、データＩＤにより識別されるデータに対応するコンテンツの配信に関する情報を示す。
【０１１５】
「コンテンツ情報」中の「コンテンツデータ」は、データＩＤにより識別されるデータに対応する配信においてユーザに提供されたコンテンツデータを示す。図７では「コンテンツデータ」に「ＣＤＴ５」といった概念的な情報が格納される例を示したが、実際には、コンテンツに関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「コンテンツデータ」には、対応商品に関する商品名やカテゴリや画像やタイトルや説明文等の文字情報等の種々の情報が含まれる。例えば、「コンテンツデータ」は、コンテンツに関する情報のうち、配信先となるユーザや配信日時により変動しない静的な情報であってもよい。例えば、「コンテンツデータ」には、フリーマーケット形式における契約が成立する価格やオークション形式においてオークション期間内であっても契約が成立する価格（即決価格）が含まれてもよい。
【０１１６】
「コンテンツ情報」中の「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信における履歴情報を示す。「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザや配信時点における種々の情報が含まれる。図７では「ログデータ」に「ＬＤＴ５」といった概念的な情報が格納される例を示したが、実際には、コンテンツ配信に関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「ログデータ」は、データＩＤにより識別されるデータに対応する対象商品のコンテンツ配信の配信先となるユーザに関する情報が含まれてもよい。
【０１１７】
また、例えば、「ログデータ」には、対象商品に関するユーザの行動（入札）等によって動的に変動する動的情報であって、コンテンツ配信時点における動的情報が含まれてもよい。例えば、「ログデータ」には、コンテンツ配信時点における現在価格や入札数や入札者数や残り時間等の種々の情報が含まれてもよい。なお、上記は一例であり、ログデータには、上記に限らず種々の情報が含まれてもよい。なお、「コンテンツデータ」と「ログデータ」とは、コンテンツに関する情報であれば、互いに重複する情報が含まれてもよい。
【０１１８】
例えば、図７に示す例において、データＩＤ「ＤＴ２０１」により識別されるデータ（データＤＴ２０１）は、対象商品が商品ＧＤ５（Ｚ商品）であることを示す。また、データＤＴ２０１は、正解情報の「早く売れる」が「１（３時間）」であることを示す。また、データＤＴ２０１は、コンテンツ情報のうち、「コンテンツデータ」が「ＣＤＴ５」であり、「ログデータ」が「ＬＤＴ５（Ｕ１０１等）」であることを示す。
【０１１９】
すなわち、データＤＴ２０１は、商品ＧＤ５（Ｚ商品）のコンテンツのユーザＵ１０１への配信に関するデータであることを示す。データＤＴ２０１は、配信された商品ＧＤ５をユーザＵ１０１が購入したことを示す。また、データＤＴ２０１は、ユーザＵ１０１による商品ＧＤ５の購入が商品ＧＤ５のコンテンツの配信開始から３時間後であることを示す。
【０１２０】
なお、第２学習データ記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、第２学習データ記憶部１２３は、学習データが追加された日時に関する情報を記憶してもよい。また、例えば、第２学習データ記憶部１２３は、各学習データがどのような判定処理により追加されたかを示す情報を記憶してもよい。例えば、第２学習データ記憶部１２３は、各学習データが管理者の選択により判定されたか等を示す情報を記憶してもよい。
【０１２１】
（モデル情報記憶部１２４）
実施形態に係るモデル情報記憶部１２４は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２４は、生成処理により生成されたモデル情報（モデルデータ）を記憶する。図８は、実施形態に係るモデル情報記憶部の一例を示す図である。図８に示すモデル情報記憶部１２４は、「モデルＩＤ」、「予測対象」、「モデルデータ」といった項目が含まれる。なお、図８では、モデルＭ１、Ｍ２のみを図示するが、Ｍ３、Ｍ４等、各予測対象（予測の対象）に応じて多数のモデル情報が記憶されてもよい。
【０１２２】
「モデルＩＤ」は、モデルを識別するための識別情報を示す。例えば、モデルＩＤ「Ｍ２」により識別されるモデルは、図１の例に示したモデルＭ２に対応する。「予測対象」は、対応するモデルの予測対象を示す。また、「モデルデータ」は、対応付けられた対応するモデルのデータを示す。例えば、「モデルデータ」には、各層におけるノードと、各ノードが採用する関数と、ノードの接続関係と、ノード間の接続に対して設定される接続係数とを含む情報が含まれる。
【０１２３】
例えば、図８に示す例において、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、予測対象が「ＣＴＲ」であり、ユーザに配信されるコンテンツがユーザにクリックされるかの予測に用いられることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
【０１２４】
例えば、図８に示す例において、モデルＩＤ「Ｍ２」により識別されるモデル（モデルＭ２）は、予測対象が「早く売れる」であり、ユーザに配信されるコンテンツの対象となる商品がユーザに早く購入されるかの予測に用いられることを示す。また、モデルＭ２のモデルデータは、モデルデータＭＤＴ２であることを示す。
【０１２５】
例えば、モデルＭ２（モデルデータＭＤＴ２）は、コンテンツに関するコンテンツ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたコンテンツ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、コンテンツに関するユーザの行動に関する指標に対応するスコアの値を出力層から出力するよう、コンピュータを機能させるためのモデルである。
【０１２６】
ここで、モデルＭ１、Ｍ２等が「ｙ＝ａ１＊ｘ１＋ａ２＊ｘ２＋・・・＋ａｉ＊ｘｉ」で示す回帰モデルで実現されるとする。この場合、例えば、モデルＭ２が含む第１要素は、ｘ１やｘ２等といった入力データ（ｘｉ）に対応する。また、第１要素の重みは、ｘｉに対応する係数ａｉに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンと見做すことができる。各モデルを単純パーセプトロンと見做した場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードと見做すことができる。
【０１２７】
また、モデルＭ１、Ｍ２等がＤＮＮ等、１つまたは複数の中間層を有するニューラルネットワークで実現されるとする。この場合、例えば、モデルＭ２が含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
【０１２８】
なお、モデル情報記憶部１２４は、上記に限らず、目的に応じて種々のモデル情報を記憶してもよい。
【０１２９】
（ユーザ情報記憶部１２５）
実施形態に係るユーザ情報記憶部１２５は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部１２５は、クラウドソーシングなどによるタスクを行う複数のワーカ（ユーザ）に関する情報を記憶する。図９は、実施形態に係るユーザ情報記憶部の一例を示す図である。図９に示すユーザ情報記憶部１２５は、「ユーザＩＤ」、「年齢」、「性別」、「自宅」、「勤務地」、「興味」といった項目が含まれる。
【０１３０】
「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「年齢」は、ユーザＩＤにより識別されるユーザの年齢を示す。なお、「年齢」は、例えば３５歳など、ユーザＩＤにより識別されるユーザの具体的な年齢であってもよい。また、「性別」は、ユーザＩＤにより識別されるユーザの性別を示す。
【０１３１】
また、「自宅」は、ユーザＩＤにより識別されるユーザの自宅の位置情報を示す。なお、図９に示す例では、「自宅」は、「ＬＣ１１」といった抽象的な符号を図示するが、緯度や経度を示す情報であってもよい。また、例えば、「自宅」は、地域名や住所であってもよい。
【０１３２】
また、「勤務地」は、ユーザＩＤにより識別されるユーザの勤務地の位置情報を示す。なお、図９に示す例では、「勤務地」は、「ＬＣ１２」といった抽象的な符号を図示するが、緯度や経度を示す情報であってもよい。また、例えば、「勤務地」は、地域名や住所であってもよい。
【０１３３】
また、「興味」は、ユーザＩＤにより識別されるユーザの興味を示す。すなわち、「興味」は、ユーザＩＤにより識別されるユーザが関心の高い対象を示す。なお、図９に示す例では、「興味」は、各ユーザに１つずつ図示するが、複数であってもよい。
【０１３４】
例えば、図９に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザの年齢は、「２０代」であり、性別は、「男性」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、自宅が「ＬＣ１１」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、勤務地が「ＬＣ１２」であることを示す。また、例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、「スポーツ」に興味があることを示す。
【０１３５】
なお、ユーザ情報記憶部１２５は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部１２５は、ユーザのデモグラフィック属性に関する情報やサイコグラフィック属性に関する情報を記憶してもよい。例えば、ユーザ情報記憶部１２５は、氏名、家族構成、収入、興味、ライフスタイル等の情報を記憶してもよい。
【０１３６】
（ログ情報記憶部１２６）
実施形態に係るログ情報記憶部１２６は、ユーザの行動等の種々の履歴に関する情報を記憶する。図１０は、実施形態に係るログ情報記憶部の一例を示す図である。例えば、ログ情報記憶部１２６は、各ユーザの端末装置１０に配信したコンテンツに対するユーザの行動情報等を含む種々の行動情報を記憶する。図１０に示すログ情報記憶部１２６には、「ユーザＩＤ」、「履歴ＩＤ」、「種別」、「内容」、「日時」といった項目が含まれる。
【０１３７】
「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。例えば、ユーザＩＤ「Ｕ１」により識別されるユーザは、図１の例に示したユーザＵ１に対応する。また、「履歴ＩＤ」は、ユーザの行動を識別する情報を示す。また、「種別」は、対応するユーザの行動の種別に関する情報を示す。また、「内容」は、対応するユーザの行動において対象となった内容を示す。「日時」は、対応するユーザの行動が行われた日時を示す。「日時」には、「ｄｔ１１」等のように抽象的に図示するが、「２０１７年８月６日１９時３１分５２秒」等の具体的な日時が記憶されてもよい。
【０１３８】
例えば、図１０に示す例において、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）は、履歴ＩＤ「ＬＧ１１」により識別される履歴（履歴ＬＧ１１）や履歴ＩＤ「ＬＧ１２」により識別される履歴（履歴ＬＧ１２）等に対応する行動を行ったことを示す。具体的には、図１０に示す例においてユーザＵ１は、コンテンツの配信要求（履歴ＬＧ１１に対応）を日時ｄｔ１１に行ったことを示す。例えば、履歴ＬＧ１１は、日時ｄｔ１１にＡ商品等のコンテンツがユーザＵ１が利用する端末装置１０に配信されたことを示す。図１０では、履歴ＬＧ１１は、各コンテンツのＣＴＲを予測するモデルＭ１を用いて、Ａ商品等のコンテンツが配信されたことを示す。すなわち、履歴ＬＧ１１は、各コンテンツのクリックされやすさを評価の基準として、コンテンツが配信されたことを示す。また、図１０に示す例においてユーザＵ１は、日時ｄｔ１１後の日時ｄｔ１２においてＡ商品のコンテンツをクリックしたことを示す。また、図１０に示す例においてユーザＵ１は、日時ｄｔ１２後の日時ｄｔ１３においてＡ商品を購入したことを示す。
【０１３９】
例えば、図１０に示す例において、ユーザＩＤ「Ｕ２」により識別されるユーザ（ユーザＵ２）は、履歴ＩＤ「ＬＧ２１」により識別される履歴（履歴ＬＧ２１）や履歴ＩＤ「ＬＧ２２」により識別される履歴（履歴ＬＧ２２）等に対応する行動を行ったことを示す。具体的には、図１０に示す例においてユーザＵ２は、コンテンツの配信要求（履歴ＬＧ２１に対応）を日時ｄｔ２１に行ったことを示す。例えば、履歴ＬＧ２１は、日時ｄｔ２１にＢ商品等のコンテンツがユーザＵ２が利用する端末装置１０に配信されたことを示す。図１０では、履歴ＬＧ２１は、各コンテンツのＣＴＲを予測するモデルＭ１を用いて、Ｂ商品等のコンテンツが配信されたことを示す。すなわち、履歴ＬＧ２１は、各コンテンツのクリックされやすさを評価の基準として、コンテンツが配信されたことを示す。また、図１０に示す例においてユーザＵ２は、日時ｄｔ２１後の日時ｄｔ２２においてＢ商品のコンテンツをクリックしたことを示す。また、図１０に示す例においてユーザＵ２は、Ｂ商品を購入しなかったことを示す。
【０１４０】
なお、ログ情報記憶部１２６は、上記に限らず、目的に応じて種々の情報を記憶してもよい。また、図１０では、ユーザＩＤごとに行動情報がログ情報記憶部１２６に記憶される場合を示したが、行動情報は、ユーザＩＤごとに限らず、例えば時刻順に記憶されてもよい。
【０１４１】
（商品情報記憶部１２７）
実施形態に係る商品情報記憶部１２７は、商品に関する情報を記憶する。例えば、商品情報記憶部１２７には、商品に出品された商品の詳細な情報が記憶される。図１１には、商品情報記憶部に記憶される商品に関する情報の一例を示す。図１１に示すように、商品情報記憶部１２７は、商品に関する情報として、「商品ＩＤ」、「商品名」、「販売モード」、「コンテンツデータ」といった項目が含まれる。
【０１４２】
「商品ＩＤ」は、商品を識別するための識別情報を示す。また、「商品名」は、商品ＩＤにより識別される商品の名称を示す。また、「販売モード」は、対応する商品の販売態様を示す。例えば、「販売モード」は、オークション形式やフリーマーケット形式等の商品の出品形式を示す。例えば、「販売モード」が「フリマ」である場合、その商品の販売形態は、フリーマーケット形式であることを示す。例えば、「販売モード」が「オークション」である場合、その商品の販売形態は、オークション形式であることを示す。例えば、「販売モード」が「オークション（即決有）」である場合、その商品の販売形態は、オークション形式であり、かつオークション期間内であっても契約が成立する価格（即決価格）の設定が有ることを示す。
【０１４３】
「コンテンツデータ」は、商品ＩＤにより識別される商品に対応するコンテンツデータを示す。図１１では「コンテンツデータ」に「ＣＤＴ１」といった概念的な情報が格納される例を示したが、実際には、コンテンツに関する種々の情報、または、その格納場所を示すファイルパス名などが格納される。例えば、「コンテンツデータ」には、対応する商品に関するカテゴリや画像やタイトルや説明文等の文字情報等の種々の情報が含まれる。例えば、図１１中の「コンテンツデータ」は、コンテンツに関する情報のうち、配信先となるユーザや配信日時により変動しない静的な情報であってもよい。例えば、「コンテンツデータ」には、フリーマーケット形式における契約が成立する価格やオークション形式においてオークション期間内であっても契約が成立する価格（即決価格）が含まれてもよい。なお、図１１の例では、商品名を図示するために、「商品名」の項目を示したが、「商品名」の情報は「コンテンツデータ」に含まれてもよい。
【０１４４】
例えば、図１１に示す例において、商品ＩＤ「ＧＤ１」により識別される商品（商品ＧＤ１）は、商品名が「Ｖ商品」であることを示す。また、商品ＧＤ１は、販売モード「フリマ」であり、コンテンツデータが「ＣＤＴ１」であることを示す。
【０１４５】
なお、商品情報記憶部１２７は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
【０１４６】
（制御部１３０）
図４の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、生成装置１００内部の記憶装置に記憶されている各種プログラム（生成プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現される。制御部１３０は、モデル情報記憶部１２４に記憶されているモデルＭ２等に従った情報処理により、コンテンツに関するコンテンツ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたコンテンツ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、コンテンツに関するユーザの行動に関する指標に対応するスコアの値を出力層から出力する。
【０１４７】
図４に示すように、制御部１３０は、取得部１３１と、生成部１３２と、予測部１３３と、配信部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。制御部１３０は、記憶部１２０に記憶されているモデルＭ２（モデルデータＭＤＴ２）に従った情報処理により、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたコンテンツ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、コンテンツに関するユーザの行動に関する指標に対応するスコアの値を出力層から出力する。
【０１４８】
（取得部１３１）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、第１学習データ記憶部１２１と、予測用情報記憶部１２２と、第２学習データ記憶部１２３と、モデル情報記憶部１２４と、ユーザ情報記憶部１２５と、ログ情報記憶部１２６と、商品情報記憶部１２７等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得してもよい。また、取得部１３１は、各種情報を端末装置１０等から取得してもよい。
【０１４９】
例えば、取得部１３１は、コンテンツに関するコンテンツ情報を取得する。例えば、取得部１３１は、ユーザが利用する端末装置へのコンテンツの配信に関するログ情報を含むコンテンツ情報を取得する。例えば、取得部１３１は、コンテンツに関する対象に設定された金額に対する承諾に応じて取引が成立する態様で出品された対象に対応するコンテンツ情報を取得する。例えば、取得部１３１は、コンテンツに関する対象に設定された期間内における対象に対する入札に応じて取引が成立する態様で出品された対象に対応するコンテンツ情報を取得する。
【０１５０】
図１の例では、取得部１３１は、正解情報を生成するための情報を収集する。例えば、取得部１３１は、商品ＧＤ１０１（Ａ商品）〜商品ＧＤ１０５（Ｅ商品）等のコンテンツをユーザに配信し、配信したコンテンツに対するユーザの行動に関する情報（行動情報）を取得する。
【０１５１】
図１の例では、取得部１３１は、対象である指標「早く売れる」に対応する予測用情報を取得する。例えば、取得部１３１は、予測用情報記憶部１２２から指標「早く売れる」に対応する予測用情報を取得する。
【０１５２】
例えば、取得部１３１は、コンテンツの配信要求を取得する。図２の例では、取得部１３１は、ユーザＵ１０１が利用する端末装置１０からコンテンツの配信要求を取得する。
【０１５３】
（生成部１３２）
生成部１３２は、各種情報を生成する。例えば、生成部１３２は、第１学習データ記憶部１２１に記憶された学習データを用いて、モデル情報記憶部１２４に示すようなモデルを生成する。例えば、生成部１３２は、取得部１３１により取得されたコンテンツ情報を用いて、コンテンツに関するユーザの行動に対応する指標に基づく評価を示すスコアを出力するモデルを生成する。また、生成部１３２は、コンテンツに関するユーザの行動情報を正解情報として、モデルを生成する。
【０１５４】
また、生成部１３２は、取得部１３１により取得されたコンテンツ情報を、コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成する。
【０１５５】
例えば、生成部１３２は、指標に関連する要素から予測される予測情報に基づいて、モデルの評価情報を生成する。例えば、生成部１３２は、コンテンツ情報を、ユーザによるコンテンツに関する対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成する。例えば、生成部１３２は、コンテンツの配信開始から所定期間以内における対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成する。
【０１５６】
例えば、生成部１３２は、コンテンツに関する対象に対応するカテゴリやキーワードに関する要素から予測される予測情報に基づいて、モデルの評価情報を生成する。例えば、生成部１３２は、コンテンツに関連する統計的情報から予測される予測情報に基づいて、モデルの評価情報を生成する。例えば、生成部１３２は、コンテンツ情報と、予測情報に基づく正解情報とに基づいて、モデルを生成する。例えば、生成部１３２は、指標に対応する所定の行動が所定のユーザにより行われたコンテンツ情報と、所定のユーザが所定の行動を行ったことを示す正解情報とに基づいて、モデルを生成する。
【０１５７】
例えば、生成部１３２は、コンテンツの配信開始から対象が購入されるまでの時間が短い程、高いスコアが出力されるようにモデルを生成する。例えば、生成部１３２は、コンテンツの配信開始から対象が購入されるまでの時間が短い行動情報程、重みを重くすることによりモデルを生成する。
【０１５８】
例えば、生成部１３２は、モデルＭ１、Ｍ２等を生成し、生成したモデルＭ１、Ｍ２等をモデル情報記憶部１２４に格納する。なお、生成部１３２は、いかなる学習アルゴリズムを用いてモデルＭ１、Ｍ２等を生成してもよい。例えば、生成部１３２は、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、クラスタリング、強化学習等の学習アルゴリズムを用いてモデルＭ１、Ｍ２等を生成する。一例として、生成部１３２がニューラルネットワークを用いてモデルＭ１、Ｍ２等を生成する場合、モデルＭ１、Ｍ２等は、一以上のニューロンを含む入力層と、一以上のニューロンを含む中間層と、一以上のニューロンを含む出力層とを有する。
【０１５９】
生成部１３２は、モデルを生成し、生成したモデルをモデル情報記憶部１２４に格納する。具体的には、生成部１３２は、コンテンツに関するコンテンツ情報が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力されたコンテンツ情報に対し、出力層以外の各層に属する各要素を第１要素として、第１要素と第１要素の重みとに基づく演算を行うことにより、コンテンツに関するユーザの行動に関する指標に対応するスコアの値を出力層から出力するモデルを生成する。
【０１６０】
図１の例では、生成部１３２は、学習データに基づいてモデルを生成する。例えば、生成部１３２は、指標「ＣＴＲ」に関するユーザの行動を正解情報としてモデルを生成する。
【０１６１】
図１の例では、生成部１３２は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）として、学習を行なうことにより、モデルを生成する。例えば、生成部１３２は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）として、学習を行なうことにより、モデルＭ１を生成する。
【０１６２】
また、例えば、生成部１３２は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）のうち、モデルＭ２の生成に利用可能なデータを用いて、学習を行なうことにより、モデルＭ２を生成する。例えば、生成部１３２は、第１学習データ記憶部１２１中のデータＤＴ１０１〜ＤＴ１０５等を学習データ（教師データ）のうち、指標「早く売れる」に対応する正解情報が対応付けられたデータを用いて、学習を行なうことにより、モデルＭ２を生成する。
【０１６３】
例えば、生成部１３２は、コンテンツに関する特徴量を用いて、モデルを生成する。例えば、生成部１３２は、コンテンツの内容に関する特徴量を用いて、モデルを生成する。例えば、生成部１３２は、コンテンツに対応する商品に関する特徴量を用いて、モデルを生成する。例えば、生成部１３２は、コンテンツに対応する商品のカテゴリや販売モード等に関する特徴量を用いて、モデルを生成する。例えば、生成部１３２は、コンテンツの配信先となるユーザに関する特徴量を用いて、モデルを生成する。図１の例では、生成部１３２は、コンテンツ情報に含まれるそのコンテンツに対応する商品等に関する特徴を学習し、コンテンツに対応する商品がユーザに購入されたりするかを予測するモデルを生成する。なお、生成部１３２が学習するコンテンツ情報に含まれる特徴は、生成部１３２の管理者等の人間が生成部１３２に入力してもよいし、生成部１３２に自動的に学習（抽出）させてもよい。
【０１６４】
例えば、生成部１３２は、商品ＧＤ５０１をユーザＵ５０１が購入したこと等を示すデータ等を用いてモデルＭ２を生成する。例えば、生成部１３２は、正解情報である指標「早く売れる」が「１」であるデータについては、モデルＭ２にそのデータ（早売れデータ）に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。例えば、生成部１３２は、早売れデータのコンテンツデータやログデータ等がモデルＭ２に入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。なお、生成部１３２は、販売開始から購入されるまでの時間に基づいて、指標「早く売れる」について重み付けを変動させてもよいが、この点の詳細は後述する。
【０１６５】
また、例えば、生成部１３２は、正解情報である指標「早く売れる」が「０」であるデータについては、モデルＭ２にそのデータ（非早売れデータ）に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「０」に近づくように、学習処理を行う。例えば、生成部１３２は、非早売れデータのコンテンツデータやログデータ等がモデルＭ２に入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、学習処理を行う。
【０１６６】
図１の例では、生成部１３２は、指標「早く売れる」に対応する予測情報を生成する。例えば、生成部１３２は、第１学習データ記憶部１２１に示すように、データＤＴ１０１〜ＤＴ１０５等について、指標「早く売れる」に対応する予測情報を生成する。例えば、生成部１３２は、データＤＴ１０１〜ＤＴ１０５等について、各データに対応する商品のカテゴリやコンテンツデータに含まれるキーワード等に基づいて、指標「早く売れる」に対応する予測情報を生成する。
【０１６７】
図１の例では、生成部１３２は、モデルＭ２の出力値と、予測情報とに基づいて、評価情報を生成する。例えば、生成部１３２は、生成装置１００は、スコア一覧ＳＬ１に示すような各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアと、第１学習データ記憶部１２１に示す指標「早く売れる」に対応する予測情報とに基づいて、評価情報を生成する。例えば、生成部１３２は、スコア一覧ＳＬ１に示すような各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアと、第１学習データ記憶部１２１に示す指標「早く売れる」に対応する予測情報（スコア）との比較に基づいて、評価情報を生成する。例えば、生成部１３２は、モデルＭ２が出力した各商品のスコア（出力スコア）と、予測情報であるスコア（予測スコア）との差に応じて、評価情報を生成する。例えば、生成部１３２は、各商品の出力スコアと、各商品の予測スコアとの差の平均（誤差平均）と、所定の閾値との比較に応じて、評価情報を生成する。
【０１６８】
例えば、生成部１３２は、評価対象のモデルの誤差平均が第１閾値未満である場合、モデルの精度を「低」とする評価情報を生成する。例えば、生成部１３２は、評価対象のモデルの誤差平均が第１閾値以上であり、かつ第１閾値より大きい第２閾値未満である場合、モデルの精度を「中」とする評価情報を生成する。例えば、生成部１３２は、評価対象のモデルの誤差平均が第２閾値以上である場合、モデルの精度を「高」とする評価情報を生成する。
【０１６９】
図１の例では、生成部１３２は、評価情報ＲＰ１１を生成する。例えば、生成部１３２は、評価対象のモデルＭ２の誤差平均を、第１閾値未満である誤差ＥＲ１と算出する。そして、生成装置１００は、評価対象のモデルＭ２の精度を「低」とする評価情報ＲＰ１１を生成する。
【０１７０】
図２の例では、生成部１３２は、学習データに基づいてモデルを更新する。例えば、生成部１３２は、第２学習データ記憶部１２３中のデータＤＴ２０１等を学習データ（教師データ）として、モデルＭ２を更新する。例えば、生成部１３２は、正解情報である指標「早く売れる」が「１」であるデータＤＴ２０１については、モデルＭ２にデータＤＴ２０１に対応するコンテンツ情報が入力された場合に、モデルＭ２が出力するスコアが「１」に近づくように、モデルＭ２の更新を行う。
【０１７１】
（予測部１３３）
予測部１３３は、各種情報を予測する。予測部１３３は、第１学習データ記憶部１２１と、予測用情報記憶部１２２と、第２学習データ記憶部１２３と、モデル情報記憶部１２４と、ユーザ情報記憶部１２５と、ログ情報記憶部１２６と、商品情報記憶部１２７等に記憶された情報を用いて種々の情報を予測する。例えば、予測部１３３は、取得部１３１により取得された各種情報に基づいて、種々の情報を予測する。
【０１７２】
例えば、予測部１３３は、モデルを用いて、コンテンツのスコアを予測する。例えば、予測部１３３は、コンテンツに関するコンテンツ情報をモデルに入力することにより、コンテンツのスコアを予測する。例えば、予測部１３３は、モデルＭ２が出力するスコアに基づいて、コンテンツに関するユーザの行動に対応する指標に対応するコンテンツの評価を予測する。例えば、予測部１３３は、モデルＭ２が出力するスコアに基づいて、コンテンツに対応する商品が早く売れるかを示す指標「早く売れる」に対応するコンテンツの評価を予測する。
【０１７３】
図１の例では、予測部１３３は、処理群ＰＳ１２−１、ＰＳ１２−２等に示すような処理により、各商品ＧＤ１０１〜ＧＤ１０５等に対応するスコアを含むスコア一覧を生成する。予測部１３３は、スコア一覧ＳＬ１に示すように、各商品ＧＤ１０１〜ＧＤ１０５（Ａ〜Ｅ商品）等に対応するスコアを予測する。予測部１３３モデルＭ２が出力するスコアに基づいて、コンテンツに関するユーザの行動に対応する指標に対応するコンテンツの評価を予測する。具体的には、予測部１３３モデルＭ２が出力するスコアに基づいて、コンテンツに対応する商品が早く売れるかを示す指標「早く売れる」に対応するコンテンツの評価を予測する。
【０１７４】
図２の例では、予測部１３３は、処理群ＰＳ２２−１、ＰＳ２２−２等に示すような処理により、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアを予測する。例えば、予測部１３３は、スコア一覧ＳＬ１１に示すように、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアを予測する。例えば、予測部１３３は、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等に対応するスコアに基づいて、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のランキングを予測する。例えば、予測部１３３は、スコアが高い方から順に、各商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のランキングを高く予測する。
【０１７５】
例えば、予測部１３３は、上述した回帰モデルやニューラルネットワーク等、任意の構造を有するモデルを用いて、スコアの算出を行う。具体的には、モデルＭ２は、コンテンツに関するコンテンツ情報（すなわち、上述したスコアの算出に用いられる各要素）が入力された場合に、所定の対象の予測を定量化した値（すなわち、複数の指標の各々に対応する行動がユーザにより行われる可能性が高いかを示唆するスコア）を出力するように係数が設定される。予測部１３３は、このようなモデルＭ２を用いて、各出品の対象に関するスコアを算出する。
【０１７６】
なお、上記例では、モデルＭ２が、コンテンツに関するコンテンツ情報が入力された場合に、コンテンツに関するユーザの行動に対応する複数の指標に基づく評価を定量化した値を出力するモデルである例を示した。しかし、実施形態に係るモデル（モデルＸ）は、モデルＭ２にデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、モデルＸは、コンテンツに関するコンテンツ情報を入力とし、モデルＭ２が出力するスコアを出力とするよう学習されたモデル（モデルＹ)であってもよい。または、モデルＭ２は、コンテンツに関するコンテンツ情報を入力とし、モデルＹの出力値を出力とするよう学習されたモデルであってもよい。また、予測部１３３がＧＡＮ（Generative  Adversarial  Networks）を用いた予測処理を行う場合、モデルＭ２は、ＧＡＮの一部を構成するモデルであってもよい。
【０１７７】
（配信部１３４）
配信部１３４は、各種情報を提供する。例えば、配信部１３４は、端末装置１０に各種情報を提供する。配信部１３４は、予測部１３３により予測されたスコアに基づいてサービスを提供する。例えば、配信部１３４は、予測部１３３により予測されたスコアに基づいて、コンテンツ配信サービスを提供する。また、例えば、配信部１３４は、生成部１３２により生成されたモデルに関する情報を外部の情報処理装置へ提供してもよい。また、例えば、配信部１３４は、モデルが出力する情報を外部の情報処理装置へ提供してもよい。
【０１７８】
配信部１３４は、モデルが出力するスコアに基づいて、コンテンツを配信する。例えば、配信部１３４は、オークション形式により取引される対象に関するコンテンツと、フリーマーケット形式により取引される対象に関するコンテンツとを含むコンテンツ群のうち、モデルが出力するスコアに基づいて、コンテンツを配信する。
【０１７９】
図１の例では、配信部１３４は、ユーザＵ１〜Ｕ５が利用する端末装置１０−１〜１０−５にコンテンツを配信する。図２の例では、配信部１３４は、予測部１３３による予測結果に基づいてコンテンツ配信を行う。例えば、配信部１３４は、スコアが高い方から順にコンテンツを配信する。例えば、配信部１３４は、商品ＧＤ５（Ｚ商品）、商品ＧＤ１０２（Ｂ商品）、商品ＧＤ２（Ｗ商品）、商品ＧＤ１（Ｖ商品）の順にコンテンツをユーザＵ１０１が利用する端末装置１０に配信する。例えば、配信部１３４は、商品ＧＤ５（Ｚ商品）、商品ＧＤ１０２（Ｂ商品）、商品ＧＤ２（Ｗ商品）、商品ＧＤ１（Ｖ商品）の順に一覧表示されるコンテンツを端末装置１０に配信する。
【０１８０】
〔４．生成処理のフロー〕
次に、図１２を用いて、実施形態に係る生成システム１による生成処理の手順について説明する。図１２は、実施形態に係る生成処理の一例を示すフローチャートである。
【０１８１】
図１２に示すように、生成装置１００は、第１学習データを取得する（ステップＳ１０１）。例えば、生成装置１００は、第１学習データ記憶部１２１から学習データを取得する。
【０１８２】
その後、生成装置１００は、第１学習データに基づきモデルを生成する（ステップＳ１０２）。図１の例では、生成装置１００は、第１学習データ記憶部１２１に記憶された第１学習データを用いてモデルＭ２を生成する。
【０１８３】
その後、生成装置１００は、モデル以外の情報から予測情報を生成する（ステップＳ１０３）。図１の例では、生成装置１００は、予測用情報記憶部１２２に記憶された統計的情報から予測情報を生成する。
【０１８４】
その後、生成装置１００は、モデルから出力される出力値と、予測情報とに基づいて、モデルに関する評価情報を生成する（ステップＳ１０４）。図１の例では、生成装置１００は、モデルＭ２に関する評価情報ＲＰ１１を生成する。
【０１８５】
〔５．配信処理のフロー〕
次に、図１３を用いて、実施形態に係る生成システム１による配信処理の手順について説明する。図１３は、実施形態に係る配信処理の一例を示すフローチャートである。
【０１８６】
図１３に示すように、生成装置１００は、配信要求を取得する（ステップＳ２０１）。図２の例では、生成装置１００は、ユーザＵ１０１が利用する端末装置１０から配信要求を取得する。
【０１８７】
また、生成装置１００は、モデルを用いて各商品のスコアを生成する（ステップＳ２０２）。図２の例では、生成装置１００は、モデルＭ２を用いて、商品ＧＤ１〜ＧＤ５、ＧＤ１０１〜ＧＤ１０５等のコンテンツ（商品情報）のスコアを予測する。
【０１８８】
また、生成装置１００は、生成したスコアに基づいて、商品に関するコンテンツを提供する（ステップＳ２０３）。図２の例では、生成装置１００は、商品ＧＤ５（Ｚ商品）、商品ＧＤ１０２（Ｂ商品）、商品ＧＤ２（Ｗ商品）、商品ＧＤ１（Ｖ商品）等、スコアが高い方から順にコンテンツを配信する。
【０１８９】
〔６．効果〕
上述してきたように、実施形態に係る生成装置１００は、取得部１３１と、生成部１３２とを有する。取得部１３１は、コンテンツに関するコンテンツ情報を取得する。また、生成部１３２は、取得部１３１により取得されたコンテンツ情報を、コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成する。
【０１９０】
このように、実施形態に係る生成装置１００は、コンテンツ情報を、コンテンツに関するユーザの行動に関する指標に対応するスコアを出力するモデルに入力することによりモデルから出力される出力値と、モデルとは異なる情報から予測される予測情報とに基づいて、モデルに関する評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０１９１】
また、実施形態に係る生成装置１００において、生成部１３２は、指標に関連する要素から予測される予測情報に基づいて、モデルの評価情報を生成する。
【０１９２】
このように、実施形態に係る生成装置１００は、指標に関連する要素から予測される予測情報に基づいて、モデルの評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０１９３】
また、実施形態に係る生成装置１００において、取得部１３１は、ユーザが利用する端末装置１０へのコンテンツの配信に関するログ情報を含むコンテンツ情報を取得する。
【０１９４】
このように、実施形態に係る生成装置１００は、ユーザが利用する端末装置１０へのコンテンツの配信に関するログ情報を含むコンテンツ情報を取得することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０１９５】
また、実施形態に係る生成装置１００において、生成部１３２は、コンテンツ情報を、ユーザによるコンテンツに関する対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成する。
【０１９６】
このように、実施形態に係る生成装置１００は、コンテンツ情報を、ユーザによるコンテンツに関する対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０１９７】
また、実施形態に係る生成装置１００において、生成部１３２は、コンテンツの配信開始から所定期間以内における対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成する。
【０１９８】
このように、実施形態に係る生成装置１００は、コンテンツの配信開始から所定期間以内における対象の購入有無に関する指標に基づく評価を示すスコアを出力するモデルに入力することによりモデルから出力される出力値に基づいて、モデルに関する評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０１９９】
また、実施形態に係る生成装置１００において、生成部１３２は、コンテンツに関する対象に対応するカテゴリやキーワードに関する要素から予測される予測情報に基づいて、モデルの評価情報を生成する。
【０２００】
このように、実施形態に係る生成装置１００は、コンテンツに関する対象に対応するカテゴリやキーワードに関する要素から予測される予測情報に基づいて、モデルの評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０２０１】
また、実施形態に係る生成装置１００において、生成部１３２は、コンテンツに関連する統計的情報から予測される予測情報に基づいて、モデルの評価情報を生成する。
【０２０２】
このように、実施形態に係る生成装置１００は、コンテンツに関連する統計的情報から予測される予測情報に基づいて、モデルの評価情報を生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０２０３】
また、実施形態に係る生成装置１００において、生成部１３２は、コンテンツ情報と、予測情報に基づく正解情報とに基づいて、モデルを生成する。
【０２０４】
このように、実施形態に係る生成装置１００は、コンテンツ情報と、予測情報に基づく正解情報とに基づいて、モデルを生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０２０５】
また、実施形態に係る生成装置１００において、生成部１３２は、指標に対応する所定の行動が所定のユーザにより行われたコンテンツ情報と、所定のユーザが所定の行動を行ったことを示す正解情報とに基づいて、モデルを生成する。
【０２０６】
このように、実施形態に係る生成装置１００は、指標に対応する所定の行動が所定のユーザにより行われたコンテンツ情報と、所定のユーザが所定の行動を行ったことを示す正解情報とに基づいて、モデルを生成することにより、ユーザの行動に関する指標に対応するモデルを適切に生成可能にすることができる。
【０２０７】
また、実施形態に係る生成装置１００は、配信部１３４を有する。配信部１３４は、モデルが出力するスコアに基づいて、コンテンツを配信する。
【０２０８】
このように、実施形態に係る生成装置１００は、モデルが出力するスコアに基づいて、コンテンツを配信することにより、コンテンツに関するユーザの行動に関する指標の予測評価に応じた情報提供を行うことができる。
【０２０９】
〔７．ハードウェア構成〕
上述してきた実施形態に係る生成装置１００は、例えば図１５に示すような構成のコンピュータ１０００によって実現される。図１５は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【０２１０】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０２１１】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。
【０２１２】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【０２１３】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０２１４】
例えば、コンピュータ１０００が実施形態に係る生成装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムまたはデータ（例えば、モデルＭ２（モデルデータＭＤＴ２））を実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムまたはデータ（例えば、モデルＭ２（モデルデータＭＤＴ２））を記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。
【０２１５】
以上、本願の実施形態及び変形例のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０２１６】
〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０２１７】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０２１８】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０２１９】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【０２２０】
１  生成システム
１００  生成装置
１２１  第１学習データ記憶部
１２２  予測用情報記憶部
１２３  第２学習データ記憶部
１２４  モデル情報記憶部
１２５  ユーザ情報記憶部
１２６  ログ情報記憶部
１２７  商品情報記憶部
１３０  制御部
１３１  取得部
１３２  生成部
１３３  予測部
１３４  配信部
１０  端末装置
Ｎ  ネットワーク
【図１】
2019053620.tif 000003
【図２】
2019053620.tif 000004
【図３】
2019053620.tif 000005
【図４】
2019053620.tif 000006
【図５】
2019053620.tif 000007
【図６】
2019053620.tif 000008
【図７】
2019053620.tif 000009
【図８】
2019053620.tif 000010
【図９】
2019053620.tif 000011
【図１０】
2019053620.tif 000012
【図１１】
2019053620.tif 000013
【図１２】
2019053620.tif 000014
【図１３】
2019053620.tif 000015
【図１４】
2019053620.tif 000016
【図１５】
2019053620.tif 000017