(57)【特許請求の範囲】
【請求項１】
所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と
前記第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示する表示部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記表示部は、前記各ユーザ情報のリストを文字列として表示する際に、前記シードユーザと前記非シードユーザを識別可能な態様で表示する
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記表示部は、前記第２数値化情報に基づいて所定の数のユーザごとに整列した各ユーザのうち、シードユーザが含まれている割合を視認可能に表示する
ことを特徴とする、請求項１に記載の情報処理装置。
【請求項４】
前記表示部は、前記非シードユーザを前記表示する際に、色彩、形状又は模様の少なくとも一つの表示態様を前記シードユーザの前記表示態様と異ならせることによって前記識別可能にする
ことを特徴とする、請求項１〜３のいずれか一つに記載の情報処理装置。
【請求項５】
前記表示部は、前記各ユーザのうち、前記シードユーザが含まれている割合に基づいて、色彩、形状又は模様の少なくとも一つの表示態様を変化させることによって前記識別可能にする
ことを特徴とする、請求項１〜４のいずれか一つに記載の情報処理装置。
【請求項６】
前記情報処理装置は更に、
前記第２数値化情報に基づいて整列した各ユーザの中のシードユーザの分布の傾向を評価する評価部を有し、
前記表示部は更に、前記評価部の評価結果に基づいた通知を行う
ことを特徴とする、請求項１〜５のいずれか１つに記載の情報処理装置。
【請求項７】
情報処理装置が実行する情報処理方法であって、
所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成工程と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成工程と
前記第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示する表示工程と、
を有することを特徴とする情報処理方法。
【請求項８】
所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成手順と、
各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成手順と
前記第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示する表示手順と、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
【背景技術】
【０００２】
インターネット上におけるユーザ行動の予測をする手法が知られている。
【０００３】
例えば、特許文献１において、インターネット上のユーザの検索クエリの傾向を学習し、学習した検索クエリの傾向とその後のユーザの行動との関連性スコアを算出してモデルを生成し、このモデルを用いて他のユーザの行動を予測することで、ユーザの行動を従来よりも高い精度で予測することを可能にする技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７７３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このシステムにおいては、生成したモデル全体について信頼性を担保しているかどうか不明であるという問題があった。
【０００６】
本願は、上記に鑑みてなされたものであって、生成したモデルの信頼性を検証する手法を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の実施形態に係る情報処理装置は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と前記第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示する表示部と、を有することを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、生成したモデルの信頼性を検証することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る情報処理の一例を示す図である。
【図２】図２は、実施形態に係る第２数値化情報をグラフ化した情報の一例を示す図である。
【図３】図３は、非シードユーザの割合をグラフに重畳した例を示す図である。
【図４】図４は、実施形態に係る情報処理装置１０の構成例を示す図である。
【図５】図５は、実施形態に係る第１数値化情報の一例を示す図である。
【図６】図６は、実施形態に係る第２数値化情報の一例を示す図である。
【図７】図７は、実施形態に係る情報処理装置１０による情報処理手順を示すフローチャートである。
【図８】図８は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る情報処理装置、情報処理方法、及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１１】
（実施形態）
〔１．情報処理〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図である。以下に示す例において、対象はユーザであり、ユーザ全体を各ユーザとし、ユーザ全体のうちの所定の行動を取ったユーザの一部をシードユーザとして説明する。なお、対象はユーザに限らず、例えば、街、商品、サービスなど、情報を収集可能な対象であれば、どのような対象であってもよい。
【００１２】
初めに、情報処理装置１０は、所定の行動を取ったユーザ群の一部をシードユーザＵ１として記憶する（ステップＳ１）。所定の行動を取ったか否かの判定は、ユーザアンケート等で行ってもよいし、シードユーザＵ１の所持する端末装置１００と情報処理装置１０との通信の履歴によって判定してもよい。
【００１３】
例えば、ある所定の店舗の名称を検索クエリとして入力し、その後、その所定の店舗を実際に訪問した利用者をシードユーザＵ１としてよい。また別の例として、イベントの名称を検索クエリとして入力し、その後、そのイベントに実際に参加した参加者をシードユーザＵ１としてもよい。更に別の例として、ある商品の名称を検索クエリとして入力し、その後、その名称の商品を実際に購入した者をシードユーザＵ１としてもよい。また、情報処理装置１０は、実際に所定の店舗（例えば、配信済みの広告と対応する店舗）を利用した者をシードユーザＵ１としてもよい。また、情報処理装置１０は、所定の広告やウェブページ、映画や音楽等のコンテンツを視聴した者をシードユーザＵ１としてもよい。
【００１４】
すなわち、情報処理装置１０は、各種の購買履歴や利用履歴、ＧＰＳ等で収集した位置履歴等、各種の情報に基づいて、想定される任意の行動を行った利用者をシードユーザＵ１として推定する。このような推定については、各種任意の公知技術が採用可能である。
【００１５】
次に、情報処理装置１０は、シードユーザＵ１が入力した検索クエリの共通性に基づいて、各シードユーザＵ１が入力した検索クエリと所定の行動との関係性を数値化する（ステップＳ２）。この数値化した情報を第１数値化情報とする。
【００１６】
第１数値化情報は、例えば以下のようにして得られる。シードユーザＵ１が入力した検索クエリを正例とし、ランダムに選択したユーザが入力した検索クエリを負例としたときに、正例を入力した際により高い値を出力し、負例を入力した際により低い値を出力するように学習モデルの学習を行う。このとき、学習には任意の手法が採用可能である。例えば、モデルとしてニューラルネットワークが採用される場合は、バックプロパゲーション等により実現可能である。
【００１７】
なお、シードユーザＵ１が共通して入力している検索クエリについては、より高い値の数値が出力されるように学習モデルを学習してもよい。例えば、正例となる検索クエリを入力したシードユーザＵ１の数が多ければ多い程、より高い値を出力するように学習モデルを学習してもよい。また、負例となる検索クエリを入力したユーザの数が多い程、より小さい値（負の値）を出力するように学習モデルを学習してもよい。各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「モデル」として生成する。この「モデル」が本実施形態における第１数値化情報の一つの例である。すなわち、情報処理装置１０は、所定の行為を行ったシードユーザＵ１が入力した検索クエリと、その所定の行為との間の関係性を示すスコアと、検索クエリとの組を第１数値化情報として生成する。
【００１８】
各検索クエリと、このような学習モデルに検索クエリを入力した際に出力したスコアとの組のリストを「モデル」として生成する。この「モデル」が本実施形態における第１数値化情報の一つの例である。すなわち、情報処理装置１０は、所定の行為を行ったシードユーザＵ１が入力した検索クエリと、その所定の行為との間の関係性を示すスコアと、検索クエリとの組を第１数値化情報として生成する。
【００１９】
更に、情報処理装置１０は、シードユーザＵ１を含むユーザ全体の入力した検索クエリを記憶する（ステップＳ３）。そして、情報処理装置１０は、ユーザ全体が入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザとの関係性を数値化する（ステップＳ４）。この数値化した情報を第２数値化情報とする。
【００２０】
例えば、情報処理装置１０は、シードユーザＵ１以外のユーザが入力した検索クエリと対応付けられたスコアを第１数値化情報であるモデルから特定する。そして、情報処理装置１０は、特定したスコアの合計から、シードユーザＵ１が行った行動と、ユーザとの間の関係性を示すスコアを第２数値化情報として算出する。ここで、例えば所定の行動と関係性が高いユーザは第２数値化情報が高く、所定の行動と関係性が低いユーザは第２数値化情報が低くなる。
【００２１】
第２数値化情報の計算は、例えば以下のように行われる。ユーザが入力した複数の検索クエリひとつひとつについて、対応付けられたスコア（第１数値化情報）を取得し、スコアの合計値を算出する。この合計値を第２数値化情報とする。このようにすれば、ユーザが入力した複数の検索クエリと所定の行動との関係性を数値として表すことができるため、単一の検索クエリの数値化と比較してより信頼性の高い数値化を実現できる。
【００２２】
このようにして、ユーザごとの第２数値化情報を計算した後に、第２数値化情報の値の高い順にユーザを順位付けする。また、順位順に各ユーザが入力した検索クエリのリストを生成する。このようなリストは、どのような検索クエリを入力したユーザが、所定の行動との関連性が強いかを示すリスト（スコアリスト）になる。このようなリストは、検索クエリと所定の行動との関連性の分析や、ユーザの分析等に用いられる。なお、このようなリストは、シードユーザＵ１を選定する際に設定される行動ごとに作成されることとなる。
【００２３】
ここで、第２数値化情報を用いた場合、ユーザが興味を有する可能性が高い情報の提供を実現できると考えられる。例えば、ある店舗を訪問したという行動と対応するリストには、その行動と関連性が高いユーザのランキングが含まれる。そこで、広告を配信する配信サーバは、ランキングの順位が高いユーザに対し、その店舗に関する広告を提供することで、広告効果を向上させることができると考えられる。
【００２４】
一方で、第２数値化情報に基づいて、所定の行動との関係性の高い順にユーザを順位付けした際に、果たしてどの順位までのユーザが所定の行動との関係性が実際にあるのか、という評価は不明瞭となる。すなわち、第２数値化情報が高いということは、所定の行動を取る可能性が高い、という推測が働くが、一体第２数値化情報がどの程度高ければ所定の行動と関連性が高いか、所定の行動を実際に取り得るかをを推定するのが難しいまた、そもそも第２数値化情報が高いことが所定の行動との関係性が高いといえるのか否かの検証も不十分であった。
【００２５】
そこで、情報処理装置１０は、ステップＳ４の次に、第２数値化情報に基づいて整列した各ユーザ中のシードユーザの分布を可視化してオペレータＯＰに視認可能に提示する（ステップＳ５）。例えば、情報処理装置１０は、第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示させる。
【００２６】
例えば、情報処理装置１０は、第２数値化情報として生成したリストのうち、シードユーザが入力した検索クエリもしくは、非シードユーザが入力した検索クエリを強調表示してもよく、それぞれ異なる色の文字列で表示してもよい。また、情報処理装置１０は、それぞれ異なる色彩の背景色を設定した状態で、第２数値化情報を表示させてもよい。すなわち、情報処理装置１０は、非シードユーザを表示する際に、色彩、形状又は模様の少なくとも一つの表示態様をシードユーザの表示態様と異ならせることによって識別可能にする。
【００２７】
また、例えば、情報処理装置１０は、第２数値化情報に基づいて所定の数のユーザごとに整列した各ユーザのうち、シードユーザが含まれている割合を視認可能に表示させてもよい。例えば、図２は、実施形態に係る第２数値化情報をグラフ化した情報の一例を示す図である。例えば、情報処理装置１００は、第２数値化情報におけるランキングを横軸とし、各ランクのユーザと所定の行動との関係性を示すスコアを縦軸として、各ユーザのスコアをプロットとしたグラフを生成する。
【００２８】
そして、情報処理装置１０は、シードユーザＵ１を、非シードユーザとは異なる表示態様で表示する。図２の例によれば、情報処理装置１０は、各シードユーザのスコアをプロットした位置を丸印のアイコン７０００ａ〜７０００ｆで示すことにより、各シードユーザの順位とスコアとの関係性を、非シードユーザとは個別に表示する。なお、情報処理装置１０は、逆に、非シードユーザのスコアがプロットされた位置にアイコンを配置して表示してもよい。
【００２９】
このようなグラフが提供された場合、利用者は、シードユーザＵ１の分布の様子を観察することで、第１数値化情報及び第２数値化情報の妥当性を検証することが可能である。例えば、シードユーザＵ１は、所定の行動を行ったユーザであるため、必然的に、スコアが上昇し、第２数値化情報における順位が上昇すると考えられる。そこで、第２数値化情報に基づくグラフの原点側にシードユーザＵ１が集まっているような分布であった場合、利用者は、第１数値化情報及び第２数値化情報が、所定の行動との関連性を適切に表現できていると推測することができる。一方、第２数値化情報に基づくグラフの原点側に非シードユーザが集まっているような分布である場合や、シードユーザＵ１の分布がばらけている場合、シードユーザＵ１が原点から離れた位置に分布する場合、利用者は、第１数値化情報及び第２数値化情報が、所定の行動との関連性を適切に表現できていないと推測することができる。
【００３０】
表示部はまた、第２数値化情報に基づいて所定の数のユーザごとに整列した各ユーザのうち、シードユーザが含まれている割合を視認可能に表示してもよい。例えば、図３は、非シードユーザの割合をグラフに重畳した例を示す図である。図３に示すように、情報処理装置１０は、第２数値化情報に基づき、各ユーザのスコアをプロットしたグラフを生成する。さらに、情報処理装置１０は、スコアが高い方から順に所定の数のユーザをグループ分けする。例えば、情報処理装置１０は、１位〜９９位迄、１００位〜１９９位迄というように、スコアが高い方から順にユーザをグループ分けし、グループごとに、非シードユーザが含まれる割合を算出する。
【００３１】
そして、情報処理装置１０は、各グループに非シードユーザが含まれる割合を示す情報をグラフに重畳する。例えば、情報処理装置１０は、算出した割合を示す棒グラフを、各ユーザのスコアの変遷を示すグラフに重畳した図を表示させる。例えば、図３に示す例では、第２数値化情報のトップ１００人のうち、シードユーザの含まれる割合を表した棒グラフ８０００ａ、１０１番から２００番までのユーザのうち、シードユーザの含まれる割合を表した棒グラフ８０００ｂ、２０１番から３００番までのユーザのうち、シードユーザの含まれる割合を表した棒グラフ８０００ｃ、３０１番から４００番までのユーザのうち、シードユーザの含まれる割合を表した棒グラフ８０００ｄ、および４０１番から５００番までのユーザのうち、シードユーザの含まれる割合を表した棒グラフ８０００ｅが、各ユーザのスコアの変遷を示すグラフに重畳されている。
【００３２】
このような視覚化が行われた場合、利用者は、第２数値化情報に含まれるユーザのうち、上位のユーザにシードユーザＵ１がより多く含まれる場合は第１数値化情報及び第２数値化情報が、所定の行動との関連性を適切に表現できていると推定することができる。また、利用者は、第２数値化情報に含まれるユーザのうち、シードユーザＵ１の分布がばらけている場合や、スコアが低い範囲に分布している場合、第１数値化情報及び第２数値化情報が、所定の行動との関連性を適切に表現できていないと推定することができる。
【００３３】
情報処理装置１０はまた、第２数値化情報に基づいて整列した各ユーザの中のシードユーザの分布の傾向を評価部が評価した結果に基づいて、オペレータＯＰに通知してもよい。例えば、シードユーザＵ１の分布が、上位に集中していない場合、シードユーザが所定の行動を取ったことは既知であるので、所定の行動と第２数値化情報の順位に関連性が低いということになる。その場合、第１数値化情報の妥当性にも疑問が生じることとなる。このような場合に、情報処理装置１０は、第１数値化情報のモデル化の再考を促す等のメッセージをオペレータＯＰに通知してもよい。
【００３４】
このように視認可能に提示することで、オペレータＯＰは、シードユーザの分布の傾向を視覚的に把握することができる。このようにすれば、オペレータＯＰは第１数値化及び第２数値化が妥当であったか否かを検証することができる。
【００３５】
図１に戻り、説明を続ける。情報処理装置１０は、ステップＳ５の次に、シードユーザの分布に基づいてオペレータに第１数値化又は第２数値化の妥当性をフィードバックする（ステップＳ６）。このようにすれば、オペレータＯＰは第１数値化及び第２数値化が妥当であったか否かの通知を受け取ることができ、第１数値化に係るモデルの改善を図ることができる。
【００３６】
なお、上述した説明では、情報処理装置１０がグラフを表示する処理の一例について記載した。しかしながら、実施形態は、これに限定されるものではない。情報処理装置１０は、生成したグラフを表示させるための情報を、利用者が利用する各種の情報処理装置（すなわち、外部の装置）に送信し、表示させてもよい。
【００３７】
〔２．情報処理装置の構成〕
次に、図４を用いて、実施形態に係る情報処理装置１０の構成について説明する。図４は、実施形態に係る情報処理装置１０の構成例を示す図である。情報処理装置１０は、所定の行動を行ったシードユーザＵ１が入力した検索クエリの共通性に基づいて、各シードユーザＵ１が入力した検索クエリと所定の行動との間の関係性を数値化した第１数値化情報を生成する。また、情報処理装置１０は、生成した第１数値化情報と、各ユーザが入力した検索クエリと、に基づいて、所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する。更に、各ユーザが入力した検索クエリの共通性に基づいて、各ユーザを２以上のクラスタに分類する。図４に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを有する。なお、情報処理装置１０は、各種の情報を表示する表示部や、各種の情報を入力する入力部を有してもよい。
【００３８】
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、所定のネットワークと有線または無線で接続され、外部の端末装置や情報処理装置との間で情報の送受信を行う。
【００３９】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Fl  ash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、各ユーザの情報と、第１数値化情報と、第２数値化情報とを記憶していてもよい。
【００４０】
（第１数値化情報）
図５は、実施形態に係る第１数値化情報の一例を示す図である。図３に示すように、第１数値化情報は、シードユーザＵ１の入力した検索クエリと、シードユーザＵ１の行った所定の行動との間の関係性を数値化したものである。図５に示す例においては、例えば「ステーキ松竹梅」というステーキ食べ放題のチェーン店があったとし、ステーキ松竹梅の店舗に実際に訪れた行為がシードユーザＵ１の所定の行動と仮定すると、検索ワードに「ステーキ松竹梅」と入力する行為と、実際に「ステーキ松竹梅」に訪れた行為との間の関係性は非常に高いということが分かる。また、「食べ放題」といった、「ステーキ松竹梅」の属性を表す単語や、「しゃぶしゃぶ」といったステーキと同じ肉料理の検索ワードも比較的高いスコアが割り当てられていることが分かる。図５の例においては「ステーキ松竹梅」という店舗への訪問を取り扱ったが、取り扱う所定の行動はこれに限られない。すなわち、特定の店舗への訪問を所定の行動としてもよいし、特定の商品を購入する行為を所定の行動としてもよい。その場合、夫々の行動について個別の第１数値化情報が生成される。
【００４１】
（第２数値化情報）
図６は、実施形態に係る第２数値化情報の一例を示す図である。第２数値化情報は、各ユーザＵが入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザＵとの関係性を数値化したものである。図６に示す例においては、第２数値化した値（以下、スコア）が高いユーザから昇順でソートされている。また、夫々のユーザのスコア及び検索クエリが表されている。
【００４２】
図６において、スコアは、各ユーザの検索ログの検索ワード一つ一つに対して、所定の行動と検索ワードとの関連性を数値化した情報である第１数値化情報を適用し、合算することで算出する。すなわち、各ユーザＵの検索ログの検索ワード一つ一つに対して、そのワードと同様のワードを第１数値化情報から検索し、検索した結果ワードが見つかった場合は、そのワードに割り当てられているスコアを合計スコアに合算する、という計算を検索ログのワード分だけ行う。このようにすれば、そのユーザの検索ログから、所定の行動を取る可能性が高いか否かを数値として表現することができ、所定の行動を取るか否かの予測を高い精度で行うことを可能とすることが期待できる。
【００４３】
なお、図３の例においては「ステーキ松竹梅」という店舗への訪問を取り扱ったが、第１数値化情報と同様、取り扱う所定の行動はこれに限られない。すなわち、特定の店舗への訪問を所定の行動としてもよいし、特定の商品を購入する行為を所定の行動としてもよい。その場合、夫々の行動について個別の第２数値化情報が生成される。
【００４４】
（制御部４０）
図４の説明に戻って、制御部４０は、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラム（予測プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部４０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００４５】
図４に示すように、制御部４０は、第１生成部４１と、第２生成部４２と、表示制御部４３と、評価部４４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部４０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部４０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。また、制御部４０は、例えば、外部の情報処理装置から第１数値化情報などの種々の情報を受信する場合、受信部を有してもよい。また、制御部４０は、例えば、外部の情報処理装置に第２数値化情報を送信する場合、送信部を有してもよい。
【００４６】
（第１生成部）
第１生成部４１は、上述した処理により、第１数値化情報を生成する。実施形態において、第１生成部４１は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、検索クエリと所定の行動との間の関係性を数値化した第１数値化情報を生成する。ここで、第１生成部４１は、複数の所定の行動ごとに第１数値化情報を生成してもよい。
【００４７】
（第２生成部）
第２生成部４２は、上述した処理により、各ユーザの入力した検索クエリと第１数値化情報とに基づいて、各ユーザＵにおける所定の行動との関係性を示す第２数値化情報を生成する。ここで、第２生成部４２は、複数の所定の行動ごとに第２数値化情報を生成してもよい。更に、第２生成部は、各ユーザが入力した検索クエリの情報を含む第２数値化情報を生成してもよい。すなわち、第２数値化情報は、ユーザＩＤとスコアの関連付けが行われていればよいが、図４に示すように、検索ログもユーザごとに記憶した情報を第２数値化情報としてもよい。
【００４８】
第２生成部４２は更に、第２数値化情報の値が閾値以上であるユーザと同一のクラスタのユーザの情報に基づいて抽出したユーザのみについての第２数値化情報のリストを生成してもよい。
【００４９】
（表示制御部４３）
表示制御部４３は、第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示部５０に表示させる。例えば、表示制御部４３は、各ユーザ情報のリストを文字列として表示する際に、前記シードユーザと前記非シードユーザを識別可能な態様で表示する。また、表示制御部４３は、第２数値化情報に基づいて所定の数のユーザごとに整列した各ユーザのうち、シードユーザが含まれている割合を視認可能に表示させてもよい。また、表示制御部４３は、非シードユーザを表示する際に、色彩、形状又は模様の少なくとも一つの表示態様をシードユーザの表示態様と異ならせることによって識別可能に表示させてもよい。また、表示制御部４３は、各ユーザのうち、シードユーザが含まれている割合に基づいて、色彩、形状又は模様の少なくとも一つの表示態様を変化させることによって識別可能に表示させてもよい。
【００５０】
例えば、表示制御部４３は、第２数値化情報を参照し、各ユーザのスコアをプロットしたグラフを生成するとともに、対応する第１数値化情報から、シードユーザおよび非シードユーザを特定する。そして、表示制御部４３は、シードユーザや非シードユーザのスコアがプロットされた位置に所定のアイコンを配置したグラフを生成してもよい。また、表示制御部４３は、第２数値化情報においてスコアが高い方から順に所定数のユーザをグループ分けし、各グループに属する非シードユーザもしくはシードユーザの割合を算出する。そして、表示制御部４３は、算出した割合を示す棒グラフを重畳したグラフを生成してもよい。なお、表示制御部４３は、シードユーザと非シードユーザとで、文字の表示態様を変更した第２数値化情報、すなわち、スコアリストを生成してもよい。
【００５１】
（評価部４４）
評価部４４は、表示制御部４３の分類結果に基づいて、第２数値化情報を評価する。例えば、評価部４４は、表示制御部４３が分類する際に、所定の行動に関係するワード群が検索クエリに含まれていることを条件としてクラスタ分けし、当該ワード群が含まれているクラスタが実際に第２数値化情報のスコアが高いユーザが多い場合、第２数値化情報が適切にユーザにスコアを付与していると評価する。
【００５２】
すなわち、評価部４４は、第２数値化情報において、シードユーザが上位に分布しているか否かに応じて、第１数値化情報および第２数値化情報が適切であるかを評価する。なお、評価部４４は、例えば、第２数値化情報の各順位のうち、シードユーザが固まって分布している範囲を適切な範囲とし、他の範囲については、信用度が低い範囲であると評価してもよい。
【００５３】
（表示部５０）
表示部５０は、制御部４０の制御に基づいて、表示制御部４３により生成された各種のグラフや評価部４４の評価結果を情報処理装置１０の利用者に情報を視認可能に提示することができる。これは、情報処理装置１０に接続される液晶ディスプレイ等によって実現されてよい。
【００５４】
〔３．予測処理のフロー〕
次に、図７を用いて、実施形態に係る情報処理装置１０による情報処理の手順について説明する。図７は、実施形態に係る情報処理装置１０による情報処理手順を示すフローチャートである。
【００５５】
図７に示すように、情報処理装置１０は、所定の行動を取ったユーザ群をシードユーザ群として特定する（ステップＳ１０１）。そして、第１生成部４１は、シードユーザ群が入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと所定の行動との間の関係性を第１数値化情報として数値化情報を生成する（ステップＳ１０２）。なお、第１数値化情報が取得される場合、情報処理装置１０はステップＳ１０１，Ｓ１０２の処理を行わなくてもよい。
【００５６】
その後、情報処理装置１０の第２生成部４２は、各ユーザが入力した検索クエリと、第１数値化情報とに基づいて、所定の行動と各ユーザとの関連性を第２数値化情報として数値化情報を生成する（ステップＳ１０３）。
【００５７】
続けて、情報処理装置１０の表示部５０は、第２数値化情報に基づいて整列した各ユーザ中のシードユーザの分布を可視化する。（ステップＳ１０４）。そして、情報処理装置１０の評価部４４は、シードユーザの分布を評価し、オペレータＯＰに第１数値化又は第２数値化の妥当性をフィードバックする。（ステップＳ１０５）。
【００５８】
〔４．変形例〕
上述した実施形態に係る情報処理装置１０は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１０の他の実施形態について説明する。
【００５９】
〔４−１．所定の行動〕
上述した実施形態において、情報処理装置１０は、複数の所定の行動それぞれについて第１数値化情報及び第２数値化情報を生成してもよい。上述の実施形態では「ステーキ松竹梅」の店舗に入店することを所定の行動としていたが、それ以外にも、例えば、ユーザＵが所定の商品を購入する、ユーザＵの所持する端末装置で所定のアプリケーションをインストールする、といった行動ごとに夫々第１数値化情報及び第２数値化情報を生成してもよい。また、夫々の行動ごとに、生成した第２数値化情報の評価を行ってもよい。また、所定の行動は、所定の基準検索クエリの入力であってもよい。
【００６０】
〔４−２．グラフの生成〕
上述した実施形態において、第２数値化情報の評価を、クラスタに分けたユーザに基づいて行っていたが、評価方法はそれに限られない。例えば、図３のように、第２数値化情報に基づいて各ユーザをスコアの高い順から整列し、縦軸スコア、横軸ユーザのグラフにプロットしてもよい。また、その際に、シードユーザは特殊な表示態様にすることで、高スコアの部分にシードユーザが集中しているか否かを視覚的に認識できる。高スコア部分にシードユーザが集中していた場合は、シードユーザが所定の行動を取っていることは別途確認済みであるため、第２数値化情報の値と所定の行動との関連性が高いといえ、第２数値化情報が適切に生成されていると評価できる。
【００６１】
〔４−３．モデル生成者への通知〕
さらに、第２数値化情報に基づいて整列した各ユーザの中のシードユーザの分布の傾向を評価し、評価結果に基づいて第２数値化情報のモデル生成者に通知してもよい。すなわち、先のグラフの生成の項でも述べたように、第２数値化情報に基づいて整列した各ユーザの中で、シードユーザの分布がスコア上位である場合は、第２数値化情報が適切に生成されていると評価できるが、逆に、シードユーザの分布がまばらであったり、スコア下位に集中していたりすると、第２数値化情報が適切に生成されていないという推認が働く。このような場合、第２数値化情報が適切に生成されていないとして、第２数値化情報のモデル生成者にその旨を通知してもよい。
【００６２】
〔４−４．第２数値化情報の名前と検索ログの一致度〕
上述した実施形態において、第２数値化情報の評価を、クラスタに分けたユーザに基づいて行っていたが、評価方法はそれに限られない。例えば、オペレータが第２数値化情報にあらかじめ名前を付けていた場合、その名前に関するカテゴリと、検索ログの各検索ワードのカテゴリの一致率を求め、一致率が高ければ適切な第２数値化情報が得られていると評価することもできる。このとき、名前や検索ワードからカテゴリを求める方法は、あらかじめ様々な単語にカテゴリを付与した辞書を作っておき、その辞書から検索するという方法が考えられる。また、あらかじめ単語同士の関連性の程度を学習した学習モデルに基づきカテゴリを求めてもよい。
【００６３】
また、カテゴリ同士の一致率を求めるのではなく、名前と各検索ワードの類似度を夫々求めてもよい。すなわち、Word2Vec等を用いて、あらかじめ単語同士の関連性の程度を学習した学習モデルで単語の分散表現を獲得し、第２数値化情報の名前と検索ログの各検索ワード夫々について、この学習モデルを用いて類似度を求めてもよい。
【００６４】
〔４−５．ユーザの分布の変動に基づく通知〕
ここで、情報処理装置１０は、第２数値化情報に基づくランキングにおいて、シードユーザが上位に分布しているか否かのみならず、シードユーザの各種分布態様に応じて、第１数値化情報および第２数値化情報が適切であるかを評価してもよい。例えば、情報提供装置１０は、シードユーザがランキングにおける中位に分布している場合や、所定の範囲内に分布している場合に、各種の通知を行ってもよい。また、情報提供装置１０は、例えば、シードユーザの分布の変動に応じて、通知を行ってもよい。例えば、情報提供装置１０は、シードユーザがランキングの上位にいない場合のみならず、例えば、シードユーザの順位に変動が生じている場合にも通知を行ってもよい。
【００６５】
例えば、情報処理装置１０は、第２数値化情報に基づいて１５０人のランキングを生成する。このようなランキングにおいて、上位５０位の全員がシードユーザであり、５０位から１００位までの間に２０人のシードユーザが含まれており、１００位から１５０位までの間に４０人のシードユーザが含まれているものとする。このような場合、情報処理装置１０は、上位５０位がすべてシードユーザであるため、第１数値化情報および第２数値化情報が適切であると判定してもよい。しかしながら、かかる場合において、５０位から１００位の間よりも１００位から１５０位の方がシードユーザが多い。このように、シードユーザがより下位にランク付けされる場合、第１数値化情報や第２数値化情報は、適切ではないとも考えられる。
【００６６】
そこで、このように、ランキングにおけるシードユーザの分布において、ある範囲に含まれるシードユーザよりも、より下位の範囲に含まれるシードユーザの方が多い場合、情報処理装置１０は、第１数値化情報および第２数値化情報が適切ではないと判定してもよい。すなわち、情報提供装置１０は、第２数値化情報に基づくランキングにおけるシードユーザの分布の傾向や分布の態様に応じて、第１数値化情報や第２数値化情報が適切であるかを判定してもよい。
【００６７】
〔５．シード行為について〕
上述した例では、情報処理装置１０は、シードユーザとした利用者が行った所定の行為をシード行為とした。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置１０は、「ハンバーグのチェーン店Ａ」に関する検索クエリやＳＮＳへの投稿を行った利用者を「ハンバーグのチェーン店Ａを好きなユーザ」とし、このような「ハンバーグのチェーン店Ａを好きなユーザ」についての第１数値化情報や第２数値化情報を生成してもよい。また、情報処理装置１０は、「ハンバーグのチェーン店Ａを好きな３０代のユーザ」等、利用者の属性に応じた第１数値化情報や第２数値化情報を生成してもよい。
【００６８】
また、情報処理装置１０は、所定の関係性を有する複数の所定の行為を行ったユーザをシードユーザとして、第１数値化情報や第２数値化情報を生成してもよい。例えば、情報処理装置１０は、キャンプ用品を購入しているユーザのみならず、スキー用品を買っているユーザを「アウトドア好き」や「子供がいそう」なシードユーザと見做し、第１数値化情報や第２数値化情報を生成してもよい。
【００６９】
すなわち、情報処理装置１０は、所定のカテゴリに分類することができるユーザをシードユーザと見做し、第１数値化情報や第２数値化情報を生成するのであれば、任意のユーザをシードユーザとしてもよい。そして、情報処理装置１０は、単一の行動のみならず、所定のカテゴリに分類することができると推定可能なユーザの行動（例えば、各種の購買履歴や検索履歴、各種属性の登録、もしくは各種属性の推定に用いられた各種の行動）に基づいて、シードユーザを決定するのであれば、任意の数の任意の種別の行動（例えば、３０代のユーザであると推定可能な行動や、３０代のユーザであると登録する行動、「アウトドア好き」とカテゴリ分類することができる単一もしくは複数の所定の行動）を行ったユーザをシードユーザとして、第１数値化情報や第２数値化情報を生成してよい。 
【００７０】
〔６．ハードウェア構成〕
上述してきた実施形態に係る情報処理装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【００７１】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【００７２】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定のネットワークを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定のネットワークを介して他の機器へ送信する。
【００７３】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【００７４】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【００７５】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定のネットワークを介してこれらのプログラムを取得してもよい。
【００７６】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【００７７】
〔７．その他〕
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【００７８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００７９】
また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００８０】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、第１生成部は、第１生成部手段や第１生成部回路に読み替えることができる。
【符号の説明】
【００８１】
１０  情報処理装置
２０  通信部
３０  記憶部
４０  制御部
４１  第１生成部
４２  第２生成部
４３  表示制御部
４４  評価部
１００  端末装置
【要約】
【課題】生成したモデルの信頼性の検証を実現する。
【解決手段】
情報処理装置は、所定の行動を行った複数のシードユーザが入力した検索クエリの共通性に基づいて、各シードユーザが入力した検索クエリと前記所定の行動との間の関係性を数値化した第１数値化情報を生成する第１生成部と、各ユーザが入力した検索クエリと、前記第１数値化情報とに基づいて、前記所定の行動と各ユーザとの関係性を数値化した第２数値化情報を生成する第２生成部と前記第２数値化情報に基づいて整列した各ユーザ情報を、シードユーザと非シードユーザを識別可能な態様で表示する表示部と、を有することを特徴とする。
【選択図】図１【図１】
0006944079.tif 000002
【図２】
0006944079.tif 000003
【図３】
0006944079.tif 000004
【図４】
0006944079.tif 000005
【図５】
0006944079.tif 000006
【図６】
0006944079.tif 000007
【図７】
0006944079.tif 000008
【図８】
0006944079.tif 000009