(57)【特許請求の範囲】
【請求項１】
所定の事象と関連性を有する複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と
前記第２数値化情報と対応する前記所定の事象と、前記第２数値化情報の元となった前記検索クエリとの関連性を推定する推定部と、
前記第２数値化情報の元となった前記検索クエリにおいて、前記ユーザごとに前記推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する算出部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記算出部は、検索クエリごとに設定されているカテゴリが前記所定の事象に設定されていっるカテゴリと一致することを前記所定の条件とすることを特徴とする、
請求項１に記載の情報処理装置。
【請求項３】
前記算出部は、前記関連性が所定の閾値を超える検索クエリが含まれる割合を算出することを特徴とする、
請求項１に記載の情報処理装置。
【請求項４】
前記算出部は、単語同士の関連性の程度を学習した学習済みモデルに基づき、前記学習済みモデルによって前記所定の事象と所定の関係性があると判定された検索クエリが含まれる割合を算出することを特徴とする、
請求項１に記載の情報処理装置。
【請求項５】
前記算出部は更に、前記検索クエリごとに設定された重みづけに基づいて前記算出することを特徴とする、
請求項１〜４のいずれか１つに記載の情報処理装置。
【請求項６】
前記情報処理装置は更に、
前記算出部で算出された前記所定の条件を満たす検索クエリに基づいて、前記所定の行動に付随するタイトルを決定するタイトル決定部を有する
ことを特徴とする請求項１〜４のいずれか一つに記載の情報処理装置。
【請求項７】
情報処理装置が実行する情報処理方法であって、
所定の事象と関連性を有する複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成工程と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成工程と
前記第２数値化情報と対応する前記所定の事象と、前記第２数値化情報の元となった前記検索クエリとの関連性を推定する推定工程と、
前記第２数値化情報の元となった前記検索クエリにおいて、前記ユーザごとに前記推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する算出工程と、
を有することを特徴とする情報処理方法。
【請求項８】
所定の事象と関連性を有する複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成手順と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成手順と
前記第２数値化情報と対応する前記所定の事象と、前記第２数値化情報の元となった前記検索クエリとの関連性を推定する推定手順と、
前記第２数値化情報の元となった前記検索クエリにおいて、前記ユーザごとに前記推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する算出手順と、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
インターネット上におけるユーザ行動の予測をする手法が知られている。
【０００３】
例えば、特許文献１において、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測することで、ユーザの行動を従来よりも高い精度で予測することを可能にする技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７７３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このシステムにおいては、生成したモデル全体について信頼性を担保しているかどうか不明であるという問題があった。
【０００６】
本願は、上記に鑑みてなされたものであって、生成したモデルの信頼性を検証する手法を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の実施形態に係る情報処理装置は、所定の事象と関連性を有する複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と、前記第２数値化情報と対応する前記所定の事象と、前記第２数値化情報の元となった前記検索クエリとの関連性を推定する推定部と、前記第２数値化情報の元となった前記検索クエリにおいて、前記ユーザごとに前記推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する算出部と、を有することを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、検索クエリを用いてモデル生成の元となった第一ユーザ群をクラスタリングするため、それぞれのクラスタごとに生成モデルの信頼性を評価でき、より高精度で信頼性の高いユーザ行動の予測が可能になるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る情報処理の一例を示す図である。
【図２】図２は、実施形態に係る情報処理装置の構成例を示す図である。
【図３】図３は、実施形態に係る第１数値化情報の一例を示す図である。
【図４】図４は、実施形態に係る第２数値化情報の一例を示す図である。
【図５】図５は、実施形態に係る情報処理の一例を示すフローチャートである。
【図６】図６は、実施形態に係る情報処理のバリエーションを説明する図である。
【図７】図７は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【００１０】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１１】
（実施形態）
〔１．情報処理〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。以下に示す例において、対象はユーザであり、ユーザ全体を各ユーザとし、ユーザ全体のうちの所定の行動を取ったユーザの一部をシードユーザとして説明する。なお、対象はユーザに限らず、例えば、街、商品、サービスなど、情報を収集可能な対象であれば、どのような対象であってもよい。
【００１２】
初めに、情報処理装置１０は、所定の行動を取ったユーザ群の一部をシードユーザＵ１として記憶する（ステップＳ１）。所定の行動を取ったか否かの判定は、ユーザアンケート等で行ってもよいし、シードユーザＵ１の所持する端末装置１００と情報処理装置１０との通信の履歴によって判定してもよい。
【００１３】
例えば、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した利用者をシードユーザＵ１としてよい。また別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者をシードユーザＵ１としてもよい。更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した者をシードユーザＵ１としてもよい。また、情報処理装置１０は、実際に所定の店舗（例えば、配信済みの広告と対応する店舗）を利用した者をシードユーザＵ１としてもよい。また、情報処理装置１０は、所定の広告やウェブページ、映画や音楽等のコンテンツを視聴した者をシードユーザＵ１としてもよい。
【００１４】
すなわち、情報処理装置１０は、各種の購買履歴や利用履歴、ＧＰＳ等で収集した位置履歴等、各種の情報に基づいて、想定される任意の行動を行った利用者をシードユーザＵ１として推定する。このような推定については、各種任意の公知技術が採用可能である。
【００１５】
次に、情報処理装置１０は、シードユーザＵ１が入力した検索クエリの共通性に基づいて、各シードユーザＵ１が入力した検索クエリと所定の行動との関係性を数値化する（ステップＳ２）。この数値化した情報を第１数値化情報とする。
【００１６】
第１数値化情報は、例えば以下のようにして得られる。シードユーザＵ１が入力した検索クエリを正例とし、ランダムに選択したユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。例えば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーション等により実現可能である。
【００１７】
なお、シードユーザＵ１が共通して入力している検索クエリについては、より高い値の数値が出力されるように学習モデルを学習してもよい。例えば、正例となる検索クエリを入力したシードユーザＵ１の数が多ければ多い程、より高い値を出力するように学習モデルを学習してもよい。また、負例となる検索クエリを入力したユーザの数が多い程、より小さい値（負の値）を出力するように学習モデルを学習してもよい。各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「モデル」として生成する。この「モデル」が本実施形態における第１数値化情報の一つの例である。すなわち、情報処理装置１０は、所定の行為を行ったシードユーザＵ１が入力した検索クエリと、その所定の行為との間の関係性を示すスコアと、検索クエリとの組を第１数値化情報として生成する。
【００１８】
更に、情報処理装置１０は、シードユーザＵ１を含むユーザ全体の入力した検索クエリを記憶する（ステップＳ３）。そして、情報処理装置１０は、ユーザ全体が入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザとの関係性を数値化する（ステップＳ４）。この数値化した情報を第２数値化情報とする。
【００１９】
例えば、情報処理装置１０は、シードユーザＵ１以外のユーザが入力した検索クエリと対応付けられたスコアを第１数値化情報であるモデルから特定する。そして、情報処理装置１０は、特定したスコアの合計から、シードユーザＵ１が行った行動と、ユーザとの間の関係性を示すスコアを第２数値化情報として算出する。ここで、例えば所定の行動と関係性が高いユーザは第２数値化情報が高く、所定の行動と関係性が低いユーザは第２数値化情報が低くなる。
【００２０】
第２数値化情報の計算は、例えば以下のように行われる。ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコア（第１数値化情報）を取得し、スコアの合計値を算出する。この合計値を第２数値化情報とする。このようにすれば、ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。
【００２１】
このようにして、ユーザごとの第２数値化情報を計算した後に、第２数値化情報の値の高い順にユーザを順位付けする。また、順位順に各ユーザが入力した検索クエリのリストを生成する。このようなリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリスト（スコアリスト）になる。このようなリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析等に用いられる。なお、このようなリストは、シードユーザＵ１を選定する際に設定される行動ごとに作成されることとなる。
【００２２】
ここで、第２数値化情報を用いた場合、ユーザが興味を有する可能性が高い情報の提供を実現できると考えられる。例えば、ある店舗を訪問したという行動と対応するリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、広告を配信する配信サーバは、ランキングの順位が高いユーザに対し、その店舗に関する広告を提供することで、広告効果を向上させることができると考えられる。
【００２３】
一方で、第２数値化情報に基づいて、所定の行動との関係性の高い順にユーザを順位付けした際に、果たしてどの順位までのユーザが所定の行動との関係性が実際にあるのか、という評価は不明瞭となる。すなわち、第２数値化情報が高いということは、所定の行動を取る可能性が高い、という推測が働くが、一体第２数値化情報がどの程度高ければ所定の行動と関連性が高いか、所定の行動を実際に取り得るかをを推定するのが難しい。
【００２４】
また、そもそも第２数値化情報が高いことが所定の行動との関係性が高いといえるのか否かの検証も不十分であった。
【００２５】
そこで、情報処理装置１０は、ステップＳ４の次に、所定の行動と、各ユーザが入力した検索クエリとの関連性を推定部で推定する（ステップＳ５）。例えば、情報処理装置１０は、所定の行動に関するカテゴリと、各ユーザが入力した検索クエリのカテゴリが一致するか否かで関連性を推定してもよい。
【００２６】
例えば、情報処理装置１０は、第２数値化情報と対応する所定の行動と、第２数値化情報の元となった検索クエリとの関連性を推定する。すなわち、情報処理装置１０は、第１数値化情報を生成する際にシードユーザとした利用者が行った所定の行為（以下、「シード行為」と記載する場合がある。）と、第２数値化情報に含まれる情報のうち、スコアが高いユーザが入力した検索クエリ（以下、「入力クエリ」と記載する場合がある。）との関連性を推定する。
【００２７】
例えば、情報処理装置１０は、シード行為と、入力クエリとのカテゴリが一致する場合は、入力クエリがシード行為と関係性を有すると判定し、その検索クエリに対して、関係性を示すスコア「１」を付与してもよい。また、情報処理装置１０は、シード行為と、入力クエリとのカテゴリが類似するカテゴリである場合は、スコア「０．５」を付与してもよい。一方、情報処理装置１０は、シード行為と、入力クエリとのカテゴリが類似しない場合は、スコア「０」を付与してもよい。なお、どのようなカテゴリを類似する、あるいは類似しないかとするかについては、あらかじめ人手で決められていてもよく、カテゴリが属する階層構造の類似性（例えば、上位カテゴリの共通性や階層の類似性等）に基づいて、きめられていてもよい。また、情報処理装置１０は、シード行為と入力クエリとのカテゴリの類似性が高ければ高い程高い値のスコアを付与し、類似性が低い程低い値のスコアを付与することとしてもよい。
【００２８】
また、情報処理装置１０は、例えば、ｗ２ｖ等、単語同士の関連性の程度を学習した学習済みモデルに基づき、シード行為と入力クエリとの関係性スコアを算出してもよい。例えば、情報処理装置１０は、ｗ２ｖの学習済みモデルを用いてシード行為と入力クエリとをベクトル化し、各ベクトルの類似性（例えば、ハミング距離やコサイン類似度等）に基づいて、関係性スコアを算出してもよい。すなわち、情報処理装置１０は、シード行為と入力クエリとの関係性（単語が有する意味の類似度）が高ければ高い程、より高い値のスコアを算出すればよい。
【００２９】
そして、情報処理装置１０は、学習済みモデルによって所定の関係性があると判定された検索クエリが含まれる割合を算出する。例えば、情報処理装置１０は、第２数値化情報における各ランキングごとに、付与されたスコアが所定の閾値を超える検索クエリの割合を算出する。すなわち、情報処理装置１０は、各ユーザの検索クエリごとに、推定した関連性が所定の条件を満たす検索クエリ（例えば、カテゴリが一致するなど）が含まれている割合を算出部で算出する（ステップＳ６）。
【００３０】
このようにすれば、第２数値化情報で整列したユーザのうち、上位のユーザの複数の検索クエリにおいて、所定の行動のカテゴリと検索クエリのカテゴリと一致する検索クエリの割合が高い場合は、第２数値化情報で整列したユーザのうちの上位は所定の行動との関連性が高いと推定できる。一方、上位のユーザが入力した検索クエリのうち、シード行為と関係性がある検索クエリの割合が低い場合は、例えば、第１数値化情報や第２数値化情報の信頼性が低い恐れがあることを推定できる。このように、単純に第２数値化情報で整列しただけではわからなかった所定の行動との関連性の強度が、算出部で算出した割合というパラメータで検証をすることができる。
【００３１】
なお、情報処理装置１０は、検索クエリごとに設定された重みづけに基づいてスコアの算出を行ってもよい。例えば、情報処理装置１０は、検索クエリが属するカテゴリと、シード行為が属するカテゴリとが類似すればするほど高い値の重みを設定し、検索クエリとシード行為との類似性を示す数値に、重みを積算した値をスコアとしてもよい。また、情報処理装置１０は、検索クエリが属するカテゴリに応じて、あらかじめ設定された重みを設定してもよい。
【００３２】
ここで、ＤＱＮＮ（Deep  Q  Neural  Network）を用いて、検索クエリの検索意図を推定する技術が知られている。例えば、あるユーザが所定時間内に連続して入力した複数の検索クエリ、すなわち、検索意図が近いと推定される検索クエリが入力された場合は、各検索クエリを類似性が高いベクトルに変換し、入力された時間差が離れた複数の検索クエリ、すなわち、検索意図が遠いと推定される検索クエリが入力された場合は、類似性が低いベクトルに変換するように、モデルの学習を行う技術が知られている。
【００３３】
情報処理装置１０は、このようなＤＱＮＮの技術を用いて検索クエリごとに推定された検索意図を考慮して、シード行為との関連性を示すスコアを算出してもよい。例えば、情報処理装置１０は、検索クエリに対し、ＤＱＮＮの技術を用いて学習が行われたモデルにより、その検索クエリから生成されたベクトルがメタデータとして付与されたデータを取得する。すなわち、情報処理装置１０は、検索意図を示すメタデータが付与された検索クエリのデータを取得する。なお、このようなメタデータは、分散表現等、各種の多次元量であってもよい。
【００３４】
そして、情報処理装置１０は、検索クエリとなる文字列と、メタデータとの組ごとに、シード行為との関係性を示すスコアを算出してもよい。すなわち、情報処理装置１０は、異なるユーザが同一の文字列を検索クエリとして入力している場合であっても、それぞれの検索意図が異なる場合は、異なる検索クエリとして、スコアの算出やシード行為との関係性の算出を行ってもよい。
【００３５】
また、情報処理装置１０は、算出されたスコアが所定の条件を満たす検索クエリに基づいて、所定の行動に付随するタイトル、すなわち、シード行為を示す情報を決定してもよい。例えば、情報処理装置１０は、算出されたスコアが所定の閾値を超える１つまたは複数の検索クエリを特定する。なお、情報処理装置１０は、例えば、スコアが高い方から順に所定の数の検索クエリを特定してもよい。そして、情報処理装置１０は、第２数値化情報や第２数値化情報の元となった第１数値化情報と対応するシード行為や、各情報を識別するためのタイトルを特定した検索クエリに基づいて生成する。例えば、情報処理装置１０は、特定した検索クエリの羅列をタイトルとしてもよく、特定した検索クエリを用いて各種の文章生成技術を用いて生成した文章をタイトルとしてもよい。
【００３６】
〔２．情報処理装置の構成〕
次に、図２を用いて、実施形態に係る情報処理装置１０の構成について説明する。図２は、実施形態に係る情報処理装置１０の構成例を示す図である。情報処理装置１０は、所定の行動を行ったシードユーザＵ１が入力した検索クエリの共通性に基づいて、各シードユーザＵ１が入力した検索クエリと所定の行動との間の関係性を数値化した第１数値化情報を生成する。また、情報処理装置１０は、生成した第１数値化情報と、各ユーザが入力した検索クエリと、に基づいて、所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する。更に、各ユーザが入力した検索クエリの共通性に基づいて、各ユーザを２以上のクラスタに分類する。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。なお、情報処理装置１０は、各種の情報を表示する表示部や、各種の情報を入力する入力部を有してもよい。
【００３７】
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、所定のネットワークと有線または無線で接続され、外部の端末装置や情報処理装置との間で情報の送受信を行う。
【００３８】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Fl  ash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、各ユーザの情報と、第１数値化情報と、第２数値化情報とを記憶していてもよい。
【００３９】
（第１数値化情報）
図３は、実施形態に係る第１数値化情報の一例を示す図である。図３に示すように、第１数値化情報は、シードユーザＵ１の入力した検索クエリと、シードユーザＵ１の行った所定の行動との間の関係性を数値化したものである。図３に示す例においては、例えば「ステーキ松竹梅」というステーキ食べ放題のチェーン店があったとし、ステーキ松竹梅の店舗に実際に訪れた行為がシードユーザＵ１の所定の行動と仮定すると、検索ワードに「ステーキ松竹梅」と入力する行為と、実際に「ステーキ松竹梅」に訪れた行為との間の関係性は非常に高いということが分かる。また、「食べ放題」といった、「ステーキ松竹梅」の属性を表す単語や、「しゃぶしゃぶ」といったステーキと同じ肉料理の検索ワードも比較的高いスコアが割り当てられていることが分かる。図３の例においては「ステーキ松竹梅」という店舗への訪問を取り扱ったが、取り扱う所定の行動はこれに限られない。すなわち、特定の店舗への訪問を所定の行動としてもよいし、特定の商品を購入する行為を所定の行動としてもよい。その場合、夫々の行動について個別の第１数値化情報が生成される。
【００４０】
（第２数値化情報）
図４は、実施形態に係る第２数値化情報の一例を示す図である。第２数値化情報は、各ユーザＵが入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザＵとの関係性を数値化したものである。図４に示す例においては、第２数値化した値（以下、スコア）が高いユーザから昇順でソートされている。また、夫々のユーザのスコア及び検索クエリが表されている。
【００４１】
図４において、スコアは、各ユーザの検索ログの検索ワード一つ一つに対して、所定の行動と検索ワードとの関連性を数値化した情報である第１数値化情報を適用し、合算することで算出する。すなわち、各ユーザＵの検索ログの検索ワード一つ一つに対して、そのワードと同様のワードを第１数値化情報から検索し、検索した結果ワードが見つかった場合は、そのワードに割り当てられているスコアを合計スコアに合算する、という計算を検索ログのワード分だけ行う。このようにすれば、そのユーザの検索ログから、所定の行動を取る可能性が高いか否かを数値として表現することができ、所定の行動を取るか否かの予測を高い精度で行うことを可能とすることが期待できる。
【００４２】
なお、図３の例においては「ステーキ松竹梅」という店舗への訪問を取り扱ったが、第１数値化情報と同様、取り扱う所定の行動はこれに限られない。すなわち、特定の店舗への訪問を所定の行動としてもよいし、特定の商品を購入する行為を所定の行動としてもよい。その場合、夫々の行動について個別の第２数値化情報が生成される。
【００４３】
（制御部４０）
図２の説明に戻って、制御部４０は、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００４４】
図２に示すように、制御部４０は、第１生成部４１と、第２生成部４２と、推定部４３、算出部４４４、およびタイトル決定部４５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部４０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。また、制御部４０は、例えば、外部の情報処理装置から第１数値化情報などの種々の情報を受信する場合、受信部を有してもよい。また、制御部４０は、例えば、外部の情報処理装置に第２数値化情報を送信する場合、送信部を有してもよい。
【００４５】
（第１生成部）
第１生成部４１は、上述した処理により、種々の情報に基づいて第１数値化情報を生成する。実施形態において、第１生成部４１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、検索クエリと所定の行動との間の関係性を数値化した第１数値化情報を生成する。ここで、第１生成部４１は、複数の所定の行動ごとに第１数値化情報を生成してもよい。
【００４６】
（第２生成部）
第２生成部４２は、各ユーザの入力した検索クエリと第１数値化情報とに基づいて、各ユーザＵにおける所定の行動との関係性を示す第２数値化情報を生成する。ここで、第２生成部４２は、複数の所定の行動ごとに第２数値化情報を生成してもよい。更に、第２生成部は、各ユーザが入力した検索クエリの情報を含む第２数値化情報を生成してもよい。すなわち、第２数値化情報は、ユーザＩＤとスコアの関連付けが行われていればよいが、図４に示すように、検索ログもユーザごとに記憶した情報を第２数値化情報としてもよい。
【００４７】
第２生成部４２は更に、第２数値化情報の値が閾値以上であるユーザと同一のクラスタのユーザの情報に基づいて抽出したユーザのみについての第２数値化情報のリストを生成してもよい。
【００４８】
（推定部４３）
推定部４３は、第２数値化情報と対応する所定の行動と、第２数値化情報の元となった検索クエリとの関連性を推定する。すなわち、推定部４３は、各ユーザの入力した複数の検索クエリが、所定の行動とどれだけ関連性があるかを夫々推定する。例えば、所定の行動に関するカテゴリが、各検索クエリのカテゴリと一致するか否かをもって関連性があるか否かを推定してもよい。また、あらかじめ単語同士の関連性の程度を学習した学習モデルで単語の分散表現を獲得し、所定の行動に付与されている名前と各検索クエリとの間の関連性を数値として算出することで関連性を推定してもよい。
【００４９】
（算出部４４）
算出部４４は、第２数値化情報の元となった検索クエリにおいて、ユーザごとに、推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する。すなわち、推定部４３において、所定の行動と関連性があると推定された検索クエリが、各ユーザの複数の検索クエリの中にどれだけの割合で含まれているかを算出する。このようにすれば、ユーザごとに、検索クエリと所定の行動との関連性を、数値で検証する一つの方法を獲得することが可能である。
【００５０】
算出部４４はまた、検索クエリごとに線ってされているカテゴリが、所定の行動のカテゴリと一致するか否かで所定の行動と検索クエリとの関連性を推定してもよい。
【００５１】
算出部４４はまた、所定の行動と各検索クエリとの関連性を数値で表し、この数値が所定の値以上であることを、関連性があると推定する根拠として用いてよい。数値の計算方法の例としては、単語同士の関連性の程度を学習した学習済みモデルに基づき、学習済みモデルによって計算するという手法が挙げられるが、これに限られない。
【００５２】
算出部４４はまた、検索クエリごとに設定された重みづけに基づいて算出部で割合を算出してもよい。例えば、学習済みモデルによって所定の行動と各検索クエリとの関連性が数値として表すことができた場合、ある検索クエリの関連性の数値が高いときは、当該検索クエリの所定の行動との関連性が高いとして、算出部での割合の算出の際の重みづけをより重くする方向に計算してもよい。また逆に、ある検索クエリの関連性の数値が低いときは、当該検索クエリの所定の行動との関連性が低いとして、算出部での割合の算出の際の重みづけをより軽くする方向に計算してもよい。
【００５３】
（タイトル決定部４５）
タイトル決定部４５は、算出部４４で算出された所定の条件を満たす検索クエリに基づいて、所定の行動に付随するタイトルを決定する。すなわち、オペレータＯＰが所定の行動に付随するタイトルを決定する場合、必ずしもそのタイトルが適切に所定の行動を表現しているとは限らない（例えば、単に「サンプル」とだけ記載したタイトルがあった場合、所定の行動が何なのかがそのタイトルからは不明である。）。このような場合にあっても、各ユーザの入力した検索クエリの情報から適切な言葉を抽出し、タイトルを意味のある言葉に置き換えることができる。このようにすれば、オペレータＯＰが適切なタイトルを入力する手間が省ける。また、意味不明なタイトル名が付与された所定の行動がなくなるため、オペレーションＯＰの効率化を図ることができる。
【００５４】
〔３．情報処理のフロー〕
次に、図５を用いて、実施形態に係る情報処理装置１０による情報処理の手順について説明する。図５は、実施形態に係る情報処理装置１０による情報処理手順を示すフローチャートである。
【００５５】
図５に示すように、情報処理装置１０は、所定の行動を取ったユーザ群をシードユーザ群として特定する（ステップＳ１０１）。そして、第１生成部４１は、シードユーザ群が入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を第１数値化情報として数値化情報を生成する（ステップＳ１０２）。なお、第１数値化情報が取得される場合、情報処理装置１０はステップＳ１０１，Ｓ１０２の処理を行わなくてもよい。
【００５６】
その後、情報処理装置１０の第２生成部４２は、各ユーザが入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザとの関連性を第２数値化情報として数値化情報を生成する（ステップＳ１０３）。
【００５７】
続けて、情報処理装置１０の推定部４５は、所定の行動と各ユーザの検索クエリとの関連性を推定する（ステップＳ１０４）。そして、関連性を推定した結果、所定の条件を満たす検索クエリが含まれている割合をユーザごとに算出する。
【００５８】
〔４．変形例〕
上述した実施形態に係る情報処理装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１０の他の実施形態について説明する。
【００５９】
〔４−１．所定の行動〕
上述した実施形態において、情報処理装置１０は、複数の所定の行動それぞれについて第１数値化情報及び第２数値化情報を生成してもよい。上述の実施形態では「ステーキ松竹梅」の店舗に入店することを所定の行動としていたが、それ以外にも、例えば、ユーザＵが所定の商品を購入する、ユーザＵの所持する端末装置で所定のアプリケーションをインストールする、といった行動ごとに夫々第１数値化情報及び第２数値化情報を生成してもよい。また、夫々の行動ごとに、生成した第２数値化情報の評価を行ってもよい。また、所定の行動は、所定の基準検索クエリの入力であってもよい。 
【００６０】
〔４−２．第２数値化情報の名前と検索ログの一致度〕
上述した実施形態において、第２数値化情報の評価を、クラスタに分けたユーザに基づいて行っていたが、評価方法はそれに限られない。例えば、オペレータが第２数値化情報にあらかじめ名前を付けていた場合、その名前に関するカテゴリと、検索ログの各検索ワードのカテゴリの一致率を求め、一致率が高ければ適切な第２数値化情報が得られていると評価することもできる。このとき、名前や検索ワードからカテゴリを求める方法は、あらかじめ様々な単語にカテゴリを付与した辞書を作っておき、その辞書から検索するという方法が考えられる。また、あらかじめ単語同士の関連性の程度を学習した学習モデルに基づきカテゴリを求めてもよい。
【００６１】
また、カテゴリ同士の一致率を求めるのではなく、名前と各検索ワードの類似度を夫々求めてもよい。すなわち、Word2Vec等を用いて、あらかじめ単語同士の関連性の程度を学習した学習モデルで単語の分散表現を獲得し、第２数値化情報の名前と検索ログの各検索ワード夫々について、この学習モデルを用いて類似度を求めてもよい。
【００６２】
〔４−３．シード行為について〕
上述した例では、情報処理装置１０は、シードユーザとした利用者が行った所定の行為をシード行為とした。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、「ハンバーグのチェーン店Ａ」に関する検索クエリやＳＮＳへの投稿を行った利用者を「ハンバーグのチェーン店Ａを好きなユーザ」とし、このような「ハンバーグのチェーン店Ａを好きなユーザ」についての第１数値化情報や第２数値化情報を生成してもよい。また、情報処理装置１０は、「ハンバーグのチェーン店Ａを好きな３０代のユーザ」等、利用者の属性に応じた第１数値化情報や第２数値化情報を生成してもよい。
【００６３】
また、情報処理装置１０は、所定の関係性を有する複数の所定の行為を行ったユーザをシードユーザとして、第１数値化情報や第２数値化情報を生成してもよい。例えば、情報処理装置１０は、キャンプ用品を購入しているユーザのみならず、スキー用品を買っているユーザを「アウトドア好き」や「子供がいそう」なシードユーザと見做し、第１数値化情報や第２数値化情報を生成してもよい。
【００６４】
すなわち、情報処理装置１０は、第１数値化情報や第２数値化情報と対応するシード行為以外にも、任意の事象をシード事象として、第１数値化情報や第２数値化情報を生成し、第２数値化情報における検索クエリとシード事象との間の関係性を算出してもよい。すなわち、情報処理装置１０は、所定の任意の事象（例えば、利用者の行動や行動、あるいは登録した情報から推定可能な各種の属性）と関連性を有するユーザをシードユーザとする。例えば、情報処理装置１０は、利用者の各種行動やあらかじめ登録された情報等に基づいて、所定の事象と関連性を有するユーザをシードユーザとし、第１数値化情報や第２数値化情報を生成する。そして、情報処理装置１０は、第２数値化情報と対応する所定の事象と、第２数値化情報の元となった検索クエリとの関連性を推定する。例えば、情報処理装置１０は、所定の事象と、各ユーザが入力した検索クエリとの間の関係性をＷ２Ｖ等に基づいて推定する。より具体的な例を挙げると、情報処理装置１０は、所定の事象を示す文字列が有する意味と、検索クエリが示す意味とが類似する場合や同一カテゴリに属する場合等には、強い関係性を有すると推定し、所定の事象を示す文字列が有する意味と、検索クエリが示す意味とが類似しない場合や同一カテゴリに属さない場合等には、関係性が弱いと推定してもよい。
【００６５】
例えば、図６は、実施形態に係る情報処理のバリエーションを説明する図である。例えば、図６に示す例では、シード事象として、検索クエリそのものではなく「焼肉が好きな３０代男性」といったユーザの属性が指定されているものとする。なお、シード事象は、例えば、ユーザが主体的に行った行動や、「３月２日に東京にいた」といった能動的な行動もしくは位置に基づくもの、参加したイベントの名称等、各種任意の事象が採用可能である。  
【００６６】
このようなシード事象が設定されている場合、情報処理装置１０は、シードユーザが入力すると推定される検索クエリを特定する。例えば、情報処理装置１０は、「焼肉、食べ放題、おいしい、炭火、、、」といった検索クエリを特定する。なお、このような検索クエリは、各種ユーザ属性の推定技術を用いて、検索クエリの中から自動的に設定されてもよく、所定のオペレータにより設定されたものであってもよい。そして、情報処理装置１０は、所定の事象と関連性を有するユーザをシードユーザとして特定する。例えば、情報処理装置１０は、シードユーザが入力すると推定される検索クエリを実際に入力したユーザであって、属性情報が「３０代男性」である旨が登録されている若しくは「３０代男性」であると推定されるユーザをシードユーザとして特定する。そして、情報処理装置１０は、シードユーザが入力した検索クエリを用いて、第１数値化情報を生成し、第１数値化情報に基づいて、第２数値化情報を生成する。
【００６７】
また、情報処理装置１０は、第２数値化情報において、各ユーザが入力した検索クエリを特定し、特定した検索クエリと、シード事象との関係性を推定する。例えば、情報処理装置１０は、第２数値化情報から特定した検索クエリが属するカテゴリと、シード事象を示す文字列「焼肉が好きな３０代男性」が属するカテゴリとの類似性に基づいて、関係性を推定する。なお、このような処理は、例えば、各種文字列が示す対象を、相対的な類似性に基づいてカテゴリ分類するモデル（例えば、ｗ２ｖのモデル）を用いて、実現されてもよい。
【００６８】
なお、図６に示すシード事象が検索クエリそのもので規定される場合、例えば、ユーザが入力した検索クエリそのものである場合、もしくは、所定の検索クエリを入力したユーザというものである場合は、その検索クエリと、第２数値化情報から特定した検索クエリとが同一カテゴリに属するか否か等に基づいて、関係性の推定を行ってよい。また、情報処理装置１０は、各クエリが属するカテゴリ同士の類似性に基づいて、関係性の推定を行ってもよい。また、シード事象は、複数の検索クエリにより規定されるものであってもよい。。このような場合、各検索クエリと、第２数値化情報から特定した検索クエリとの類似性を統合的に判断することで、関係性の推定が実現される。
【００６９】
〔５．ハードウェア構成〕
上述してきた実施形態に係る情報処理装置１０は、例えば図７に示すような構成のコンピュータ１０００によって実現される。図７は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【００７０】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【００７１】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定のネットワークを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定のネットワークを介して他の機器へ送信する。
【００７２】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【００７３】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【００７４】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定のネットワークを介してこれらのプログラムを取得してもよい。
【００７５】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【００７６】
〔６．その他〕
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【００７７】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００７８】
また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００７９】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、第１生成部は、第１生成部手段や第１生成部回路に読み替えることができる。
【符号の説明】
【００８０】
１０  情報処理装置
２０  通信部
３０  記憶部
４０  制御部
４１  第１生成部
４２  第２生成部
４３  表示制御部
４４  評価部
１００  端末装置
【要約】
【課題】生成したモデルの信頼性の検証を実現する。
【解決手段】
本開示の実施形態に係る情報処理装置は、所定の事象と関連性を有する複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と、前記第２数値化情報と対応する前記所定の事象と、前記第２数値化情報の元となった前記検索クエリとの関連性を推定する推定部と、前記第２数値化情報の元となった前記検索クエリにおいて、前記ユーザごとに前記推定した関連性が所定の条件を満たす検索クエリが含まれる割合を算出する算出部と、を有することを特徴とする。
【選択図】図１【図１】
0006944080.tif 000002
【図２】
0006944080.tif 000003
【図３】
0006944080.tif 000004
【図４】
0006944080.tif 000005
【図５】
0006944080.tif 000006
【図６】
0006944080.tif 000007
【図７】
0006944080.tif 000008