(57)【要約】本開示は、モバイル装置位置イベントと機械学習とを使用して類似予測の叙述的分類／回帰モデルを生成する方法及びシステムを提供する。位置関連特徴は、他のユーザレベル情報と共に抽出され、変換され、モデル特徴入力として使用される。モバイル装置の顧客指定リストと関連付けられたユーザとは、予測ターゲット（標的）として使用される。本システムは、異なるタイプの位置イベントを効率的に使用するので、改善された規模及び実績を提供する。それはまた、機械学習プラットフォームにより提供される利益（例えばシードリストの異なるリストへの自動適合、新規特徴の追加、データ統計特性の変化）を享受する。
2020537252.tif 000002
【特許請求の範囲】
【請求項１】
パケットを基礎としたネットワークに接続された１以上のコンピュータシステムによって実行され、モバイル装置位置を予測する方法であって、前記１以上のコンピュータシステムの各々は少なくとも１つのプロセッサを含み、前記方法は、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記パケットを基礎としたネットワークと通信するモバイル装置に関連付けられた位置イベントを検出するステップであって、各位置イベントはモバイル装置に関連付けられ、タイムスタンプに対応し、前記位置イベントはジオブロックを基礎とした位置イベントとジオフェンスを基礎とした位置イベントとを含み、各ジオブロックを基礎としたイベントは、前記１以上のコンピュータシステムの前記１以上のプロセッサによってアクセス可能なジオブロックデータベース内のジオブロックに関連し、各ジオフェンスを基礎とした位置イベントは、前記１以上のコンピュータシステムの前記１以上のプロセッサによってアクセス可能なジオフェンスデータベース内のジオフェンスを有する関心点（POIの）に関連し、前記ジオブロックデータベースは複数のジオブロックに関連付けられたデータを格納し、その各々は、公道又は自然境界によって定義された少なくとも１つの境界を有する地理的領域に対応し、前記ジオフェンスデータベースは複数の関心点につき複数のジオフェンスに関連付けられたデータを格納する、ステップと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、各々が所定の基準を満たし、前記要求データベース内の少なくとも所定の閾値数の要求に関連付けられている複数のモバイル装置を判定するステップと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、所定の時期における位置イベントを用いて前記複数のモバイル装置の各々につき、特徴セットを構築するステップであって、前記特徴セットは、前記複数のジオブロックの少なくともいくつかに関連する特徴と、前記複数のPOIの少なくともいくつかに関連する特徴とを含む、ステップと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、前記複数のモバイル装置から訓練モバイル装置を選択して、訓練セットを形成するステップと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、各訓練モバイル装置がモバイル装置のシードリストに含まれるか否かに少なくとも基づいて、前記訓練セット内の各訓練モバイル装置のラベルを判定するステップと、
機械学習プログラムを実行する前記１以上のコンピュータシステムのプロセッサによって、前記訓練モバイル装置につき前記特徴セットおよびラベルを用いて、予測モデルを訓練するステップと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを前記複数のモバイル装置のうちの少なくともいくつかの前記特徴セットに適用して、第１の予測結果を取得するステップであって、前記第１の予測結果は、前記複数のモバイル装置のうちの少なくともいくつかのそれぞれが、モバイル装置の前記シードリストに関して、類似モバイル装置である蓋然性を含む、ステップと、
を含む方法。
【請求項２】
前記位置イベントを検出するステップは、
前記パケットを基礎としたネットワークから前記要求を受信することであって、各要求は、関連付けられたモバイル装置によって送信された信号から導出された要求データを含み、前記要求データは、前記関連付けられたモバイル装置の識別子と、タイムスタンプと、前記関連付けられたモバイル装置の位置を示す位置データとを含む、ことと、
前記複数のジオブロックのいずれかを前記位置データが誘起するかどうかを判定することと、
前記複数のジオフェンスのいずれかを前記位置データが誘起するかどうかを判定することと、
複数のエントリを含む要求ログを生成することであって、前記複数のエントリのそれぞれはそれぞれの要求に対応し、１つ以上の位置イベントを含み、前記それぞれの要求における前記要求データの少なくともいくつかは、前記関連付けられたモバイル装置（UID）の識別子と前記それぞれの要求内の前記タイムスタンプとを含み、前記１以上の位置イベントの各々は、誘起されたジオブロック又は誘起されたジオフェンスに関連する、ことと、
を含む、請求項１に記載の方法。
【請求項３】
前記シードリストに関する前記複数のジオブロックの各々についての関連性測定値を判定することと、
前記複数のジオブロックを、各々が関連性測定値の別個の範囲に対応する複数のジオブロック区分に分割することとをさらに含み、
前記複数のモバイル装置の各々についての前記特徴セットを構築することは、前記複数のジオブロック区分の各々に関連する特徴を生成することを含む、請求項１に記載の方法。
【請求項４】
前記複数のモバイル装置の各々について前記特徴セットを構築することは、前記複数のモバイル装置の各々について、１以上の最も頻繁に訪問されたジオブロックを判定することと、前記１以上の最も頻繁に訪問されたジオブロックの各々に関連する特徴セットを生成することとを含む、請求項３に記載の方法。
【請求項５】
前記複数のモバイル装置の各々について前記特徴セットを構築することは、前記複数のブランドの各々に関連する特徴を生成することをさらに含み、前記複数のブランドの各々は前記複数のPOIの少なくとも1つに関連付けられる、請求項３に記載の方法。
【請求項６】
前記複数のジオブロックの中から１以上の小売ジオブロックを識別することをさらに含み、前記複数のモバイル装置のそれぞれについて前記特徴セットを構築することは、前記１以上の小売ジオブロックのそれぞれに関連する特徴を生成することを含む、請求項３に記載の方法。
【請求項７】
前記複数のモバイル装置の各々について前記特徴セットを構築することは、モバイル装置のセットの各モバイル装置について、前記各モバイル装置が前記第１の時期に位置する複数の別個のPOIを判定することを含む、請求項３に記載の方法。
【請求項８】
前記複数のモバイル装置の各々につき前記特徴セットを構築することは、複数のモバイル装置の各モバイル装置について、前記各モバイル装置が前記第１の時期に位置する複数の別個のジオブロックを判定することを含む、請求項３に記載の方法。
【請求項９】
前記複数のモバイル装置の各々につき前記特徴セットを構築することは、前記複数のモバイル装置の各モバイル装置について、前記第１の時期に前記複数のジオブロックのうちのいずれかへ前記各モバイル装置のユーザによって行われた訪問の数を判定することを含む、請求項８に記載の方法。
【請求項１０】
前記複数のモバイル装置の各々についての前記特徴セットは、フィードバックログから導出されたデータを使用してさらに構築され、前記フィードバックログはインプレッションエントリを含み、前記インプレッションエントリの各々は関連付けられたモバイル装置の識別子と、インプレッション文書の識別子と、タイムスタンプとを含み、前記複数のモバイル装置の各々についての前記特徴セットを構築することは前記複数のモバイル装置の各モバイル装置について、前記第１の時期に前記シードリストに関連付けられた１以上の文書のうちのいずれかに前記各モバイル装置がインプレッションされた回数を判定することを含む、請求項３に記載の方法。
【請求項１１】
前記フィードバックログはクリック/コールエントリと、二次動作エントリとをさらに含み、前記クリック/コールエントリと前記二次動作エントリとの各々は、関連付けられたモバイル装置の識別子と、インプレッションされた文書の識別子と、タイムスタンプとを含み、前記複数のモバイル装置の各々について前記特徴セットを構築することは、前記複数のモバイル装置の各モバイル装置について、前記所定の時期に前記各モバイル装置上でクリック/コールが行われた回数と、前記所定の時期に前記各モバイル装置を使用して二次動作が行われた回数とを判定することを含む、請求項１０に記載の方法。
【請求項１２】
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記複数のモバイル装置から評価モバイル装置を選択し、評価セットを形成することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記評価モバイル装置がモバイル装置の前記シードリストに含まれるかどうかに少なくとも基づいて、前記評価セット内の各評価モバイル装置のラベルを抽出することと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを評価モバイル装置の前記特徴セットに適用して、評価予測結果を取得することであって、前記評価予測結果は、前記評価モバイル装置のそれぞれが、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、ことと、
前記評価予測結果を前記評価モバイル装置の前記ラベルと比較することにより、前記予測モデルの精度測定値を判定することと、
を含む請求項１に記載の方法。
【請求項１３】
前記パケットを基礎としたネットワークへの類似モバイル装置のリストを送信することであって、類似モバイル装置の前記リストは、前記第１の予測結果に基づいて、前記複数のモバイル装置の少なくともいくつかから選択される、ことを更に含む、請求項１に記載の方法。
【請求項１４】
モバイル装置位置を予測するための、パケットを基礎としたネットワークに接続されたシステムであって、
複数のジオブロックに関連付けられたデータを格納するジオブロックデータベースであって、各ジオブロックは、公道又は自然境界によって定義された少なくとも１つの境界を有する地理的領域に対応する、ジオブロックデータベースと、
複数の関心点に対応する複数のジオフェンスに関連付けられたデータを格納するジオフェンスデータベースと、
前記パケットを基礎としたネットワークと通信するモバイル装置に関連付けられた位置イベントを検出するよう構成された要求プロセッサであって、各位置イベントはモバイル装置に関連付けられてタイムスタンプを有し、前記位置イベントはジオブロックを基礎とした位置イベントとジオフェンスを基礎とした位置イベントとを含み、各ジオブロックを基礎とした位置イベントは前記ジオブロックデータベース内のジオブロックに関連し、各ジオフェンスを基礎とした位置イベントは前記ジオフェンスデータベース内のジオフェンスを有する関心点のブランドに関連する、要求プロセッサと、
複数のモバイル装置を判定するよう構成されたデータマネージャであって、各モバイル装置は所定の基準を満たし前記要求データベース内の少なくとも所定の閾値数の要求に関連付けられ、また、前記複数のモバイル装置から訓練モバイル装置を選択して訓練セットを形成するよう構成されたデータマネージャと、
所定の時期における位置イベントを用いて前記複数のモバイル装置の各々につき、特徴セットを構築するよう構成された特徴生成部であって、前記特徴セットは、前記複数のジオブロックの少なくともいくつかに関連する特徴と、前記複数のPOIの少なくともいくつかに関連する特徴とを含み、更に、前記各訓練モバイル装置がモバイル装置のシードリストに含まれるか否かに少なくとも基づいて、前記訓練セット内の各訓練モバイル装置のラベルを判定するよう構成された、特徴生成部と、
前記訓練モバイル装置につき前記特徴セットおよびラベルを用いて、前記シードリストにつき予測モデルを取得するよう構成された機械学習モジュールと、
前記予測モデルを前記複数のモバイル装置のうちの少なくともいくつかの前記特徴セットに適用して、第１の予測結果を取得するよう構成された予測モジュールであって、前記第１の予測結果は、前記複数のモバイル装置のうちの少なくともいくつかのそれぞれが、モバイル装置の前記シードリストに関して、類似モバイル装置である蓋然性を含む、予測モジュールと、
を含むシステム。
【請求項１５】
前記データマネージャは、前記複数のモバイル装置から評価モバイル装置を選択して評価セットを形成するようにさらに構成され、
前記特徴生成部は、前記評価モバイル装置がモバイル装置の前記シードリストに含まれるかどうかに少なくとも基づいて、評価セット内の各評価モバイル装置につきラベルを判定するようにさらに構成され、
前記予測モジュールは、前記評価モバイル装置の前記特徴セットに前記予測モデルを適用して評価予測結果を取得するようにさらに構成され、前記評価予測結果は前記評価モバイル装置のそれぞれが、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含み、
前記予測モジュールは、前記評価予測結果を前記評価移動装置のラベルと比較することによって、前記予測モデルにつき精度測定値を判定するようにさらに構成される、
請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は位置を基礎とした情報技術に関し、より詳細には、モバイル装置の指定された群に関してモバイル装置が類似の特性を有する確率を予測するための機械学習用システム及び方法に関する。
【背景技術】
【０００２】
近代社会において、スマートモバイル装置は、人々の日常生活の不可欠な部分となっている。その結果、リアルタイムのモバイル装置の位置がモバイルサービスプロバイダにより一般的に利用可能になっている。多くのサービスプロバイダにとって、位置履歴情報を利用して、与えられたユーザのリスト(シード（種）ユーザ)に類似したモバイル装置ユーザ(類似ユーザ)を発見することは、非常に興味深い。それらは例えば、特定のモバイルアプリの既存ユーザ、または特定のプロダクトの特徴に肯定的または否定的に応答したユーザであり得る。類似ユーザはサービスプロバイダによって使用されて、個々のユーザへのサービスをカスタマイズし、個々のユーザに新しいサービスを推奨し、顧客基礎を成長させるためにより費用対効果の高い広告戦略を考案することができる。さらに、同じ技術を適用して、他の事業によって提供されるシードユーザから類似のユーザを見つけ、それらが類似の最適化を達成するのを助けることができる。
【０００３】
産業規模での位置履歴を使用した類似のモデル化は、多くの課題に直面する。個人情報のため、位置情報への第三者アクセスは制限されている。一般的なデータ源には、ユーザがデータ収集のためのアクセスを明示的に許可する個々のモバイルアプリや、モバイルアプリの大規模な収集物から広告要求を収集するモバイル広告交換がある。前者のケースでは、ユーザがモバイルアプリに関与しているときにのみ、装置位置が収集されることが一般的である。後者のケースでは、位置データは広告要求が発行されたときにのみ収集される。その結果、収集された装置の位置履歴はしばしば、長いオフライン期間によって分離された高頻度サンプルの散発的な爆発の形態である。その結果、位置を基礎としたモデルはしばしば、規模および実績の両方において制限された、極めてまばらなユーザレベルの位置データで動作する。いくつかの既存のシステムは高密度にサンプリングされた位置履歴を提供する意思のある1組のボランティアまたは有料ユーザからデータを収集し、これらのユーザから収集されたデータのみに基づいて類似のモバイルユーザを選択するためのモデルを開発することによって、データのまばらを軽減する。この手法の主な欠点は、選択されたユーザが、開発されたモデルが適用される一層大きな母集団を表すことを確実にすることが難しいことである。その理由はボランティアの人数が通常少なく、ユーザ選択処理に対する制御を実施することが難しいからである。いくつかの他のシステムはまばらなデータからより効果的に抽出するために、シードユーザに関する事前の知見を符号化する規則の集合を明示的に構築することに依拠する。このアプローチは主に、規則発見処理がしばしば広範な人間の関与を必要とするため、そのスケーラビリティ（拡張性）において制限される。さらに、規則発見処理はクライアントが異なったシードユーザのリストを提供するとき、新しいタイプのユーザ行動データが利用可能になったとき、あるいはユーザ行動データの統計的特性が変化したとき、毎回繰り返される必要がある。
【図面の簡単な説明】
【０００４】
【図１】図1は、特定の実施形態による類似のモバイル装置を発見するためのシステムの概略図である。
【図２】図2は、実施形態によるパケットを基礎としたネットワークの概略図である。
【図３】図3は実施形態による、方法のうちの1つまたは複数を実行し、および/または位置予測のためのシステムの一部またはすべてを提供する、パケットを基礎としたネットワークに結合されたコンピュータ/サーバの概略図である。
【図４】図4は、特定の実施形態による、地理的領域の地図上に重畳された例示的な多角形ジオフェンスを示す地図画像である。
【図５】図5は、特定の実施に係るジオフェンスデータベース内の内容の一部を説明する表である。
【図６】図6は、特定の実施形態による、地理的領域の地図上に重畳された例示的なジオブロックを示す地図画像である。
【図７】図7は、特定の実施形態によるジオブロックデータベース内の内容の一部を示す表である。
【図８】図8Aは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。図8Bは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。図8Cは、特定の実施形態による処理の様々な段階での要求データを示す構成図である。
【図９】図9は、特定の実施形態による、要求ログ内の内容の一部を示す表である。
【図１０】図10は、特定の実施形態によるフィードバックログ内の内容の一部を示す表である。
【図１１】図11は、特定の実施形態による、類似のモバイル装置を発見するためのシステムにおいて実行される方法を示すフローチャートである。
【図１２】図12は、特定の実施形態による様々なモバイル装置区分を示す図である。
【図１３】図13は、特定の実施形態によるモバイル装置データを抽出するためのデータマネージャを示す構成図である。
【図１４】図14は、特定の実施形態による、期間に対応する抽出されたモバイル装置データを示す表を含む。
【図１５】図15は、特定の実施形態による特徴空間を構築するための方法を示すフローチャートである。
【図１６】図16は、特定の実施形態による、関連性測定に基づいてジオブロックをジオブロックの区分に割り当てることを示す表である。
【図１７】図17は、特定の実施形態による、モバイル装置に関連付けられた例示的な特徴の表を含む。
【図１８】図18は、特定の実施形態による、それぞれのシードリストに対応するラベルの複数のセットを示す表である。
【図１９】図19は、ある実施形態による予測モデルの評価を示す表である。
【図２０】図20は、特定の実施形態による例示的な類似予測結果を示す表である。
【図２１】図21は、特定の実施による、モバイルユーザの順位付けと、予測結果に基づいて類似モバイルユーザを選択することとを示す表である。
【図２２】図22は、特定の実施形態による、1つ以上のコンピュータ/サーバシステムを用いて提供される情報サーバシステムのブロック図である。
【図２３】図23は、ある実施形態による情報サーバシステムによって実行される情報処理を示す流れ図である。
【図２４】図24は、特定の実施形態による、1つまたは複数のコンピュータ/サーバによって提供されるジオブロック定義サブシステムの概略図である。
【図２５】図25は、特定の実施によるジオブロック定義システムによって実行される方法を示すフローチャートである。
【図２６】図26は、特定の実施形態による、初期ジオブロックの輪郭を描く多角形（ポリゴン）を形成するための方法を示すフローチャートである。
【図２７】図27は特定の実施形態による、最初のジオブロックに関するリアルタイム入力(例えば、広告要求)を処理し、ロギングするための一方法を示すフローチャートである。
【図２８】図28は、特定の実施形態による要求ログを示す表である。
【図２９】図29は、9桁の郵便番号の空間分布を調べることによる住宅領域(青色の多角形で囲まれている)と森林領域との分離を示すジオブロックの地図オーバーレイ図である。
【図３０】図30は、住宅領域からの小学校の分離を示すジオブロックの地図オーバーレイ図である。
【図３１】図31は特定の実施形態に従い、ジオブロック定義サブシステムによって生成されるジオブロックをスコアリング（スコア付け）し、順位付けするジオブロックスコアリングサブシステムのブロック図である。
【図３２】図32は特定の実施形態に従い、ジオブロックスコアリングサブシステムによって実行されるジオブロックスコアリング方法を示すフローチャートである。
【図３３】図33は、特定の実施形態によるジオフェンス定義モジュールによって実行される初期化および/または更新処理を示すフローチャートである。
【図３４Ａ】図34Aは、特定の実施形態による、異なるキャンペーンパラメータまたは実績目標に基づいて導出された、それらの関連付けられたスコアを有する例示的なジオブロックを示す地図オーバーレイ図である。
【図３４Ｂ】図34Bは、特定の実施形態による、異なるキャンペーンパラメータまたは実績目標に基づいて導出された、それらの関連付けられたスコアを有する例示的なジオブロックを示す地図オーバーレイ図である。
【図３５】図35は、特定の実施形態による、関心点(POI)の周りの標的となる地理的領域内のジオブロックから選択されたより高いスコアリングジオブロックを含む例示的なジオフェンスを示す地図オーバーレイ図である。
【図３６】図36は、特定の実施形態による、ジオブロックを基礎としたターゲティングのための処理のフローチャートである。
【図３７Ａ】図37Aは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。
【図３７Ｂ】図37Bは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。
【図３７Ｃ】図37Cは、特定の実施形態による、情報キャンペーンのペース調整状況に基づく、特定のジオブロックの動的介在または除外を示す、関心点の周りのジオブロックの地図重畳図である。
【発明を実施するための形態】
【０００５】
図1に示すように、本開示の特定の実施形態は、パケットを基礎としたネットワークと通信する類似のモバイル装置を検出するための、パケットを基礎としたネットワークに結合されたシステム100を提供する。システム100は特に、要求処理部101、シード（seed：種）リスト処理部102、および類似予測サブシステム103を含む。特定の実施形態では、システム100が以下で説明するように、類似の予測のための1つまたは複数の方法を実行するように構成される。
【０００６】
特定の実施形態では、要求処理部101が地理的場所に関連するデータを記憶する地理データベースを含むか、またはそれにアクセスする。特定の実施形態では、地理的場所（geoplaces）がジオブロック（地理ブロック）およびジオフェンス（地理フェンス）を含む。ジオブロックのそれぞれは、公道または自然境界によって定義される少なくとも1つの境界を有する地理的領域に対応する。ジオフェンスの各々は、複数の関心点に対応する。地理データベースには、ジオブロックに関連付けられたデータを格納するジオブロックデータベースと、ジオフェンスに関連付けられたデータを格納するジオフェンスデータベースが含まれる。
【０００７】
特定の実施形態では、要求処理部101がパケットを基礎としたネットワークと通信するモバイル装置に関連する要求を受信し、モバイル装置に関連する位置イベントを検出するために、地理データベース内の地理的場所に関する要求を処理するように構成される。各位置イベントはタイムスタンプに対応し、地理的場所を識別する。いくつかの実施形態では、位置イベントがジオフロックを基礎とした位置イベントおよびジオフェンスを基礎とした位置イベントを含む。各ジオブロックを基礎とした位置イベントはジオブロックデータベース内のジオブロックに関連付けられ、各ジオフェンスを基礎とした位置イベントはジオフェンスデータベース内にジオフェンスを有する関心点(POI)の名称またはブランド（銘柄）に関連付けられる。
【０００８】
いくつかの実施形態では、シードリスト処理部102がパケットを基礎としたネットワークを介して顧客からシードリストデータファイルを受信し、それぞれのデータファイルを解析して、シードモバイル装置および類似発見明細のリストを抽出するように構成された顧客インタフェースを含む。データファイル内で利用可能である場合、この処理は、それぞれのシードモバイル装置に関連する重みを抽出することもできる。重みは、シードリスト上の異なるモバイル装置について類似のモバイル装置を見つけるための価値の差を反映するために使用されることができる。
【０００９】
いくつかの実施形態では、類似予測サブシステム103が複数のモバイル装置のそれぞれについて特徴の組を構築するように構成された特徴生成部と、複数のモバイル装置のサブセットに関連付けられた特徴を使用してモバイルユーザのシードリストに対応する予測モデルを訓練するように構成された機械学習モジュールと、複数のモバイル装置の少なくともいくつかに関連付けられた特徴に予測モデルを適用して、複数のモバイル装置の少なくともいくつかの類似確率を予測するように構成された予測モジュールとを含む。
【００１０】
いくつかの実施形態では類似予測サブシステム103がシードリストに関する複数のジオブロックのそれぞれに関する関連性測定値を決定するようにさらに構成され、複数のジオブロックはそれぞれが関連性測定値の別個の範囲に対応する複数のジオブロック区分に分割され、類似予測サブシステム103はシードリストに関する複数の巨大ブランドのそれぞれに関する関連性測定値を決定し、複数のブランドを、それぞれが関連性測定値の別個の範囲に対応する複数の巨大ブランド区分に分割することもできる。類似予測サブシステム103はさらに、いくつかのジオブロック区分のそれぞれに関連する1つまたは複数の特徴を生成すること、1つまたは複数の特別なジオブロックのそれぞれに関連する1つまたは複数の特徴を生成すること、複数の巨大ブランドまたは巨大ブランド区分のそれぞれに関連する特徴を生成すること、ならびに位置および/または非位置の他の特徴を生成することによって、モバイル装置のそれぞれに関する特徴の組を構築するように構成される。
【００１１】
したがって、システム100は生要求データを機械学習に適した有意義な特徴に併合し、機械学習された予測モデルを使用して類似の予測を生成するように機能する。
【００１２】
図2は、開示された技術のいくつかの実施形態が動作することができる環境201の概要を示す模式図である。環境201は、パケットを基礎としたネットワーク200に結合された1つ以上のコンピュータシステム220を含むことができる。特定の実施形態におけるパケットを基礎としたネットワーク200は、インターネット210と、インターネットゲートウェイを介してインターネット210に結合されたセルラネットワーク211の一部または全部とを含む。コンピュータ/サーバ220は、複数のセルラ局211aを含むセルラネットワーク211を介して、有線イーサネット(登録商標)、および任意選択でパワーオーバイーサネット(PoE)、WiFi、および/またはセルラ接続を使用して、インターネット210に結合することができる。ネットワークはまた、1つ以上のNAS(network attached storage)システム221を含むことができ、これは、異種のクライアント群へのデータ接続を提供するために、コンピュータネットワークに接続されたコンピュータデータ記憶サーバである。
図2に示すように、スマートフォンやタブレットコンピュータなどの1つ以上のモバイル装置230も、セルラネットワーク211へのセルラ接続を介してパケットを基礎としたネットワークに結合される。WiFiホットスポット(ホットスポット235など)が利用可能である場合、モバイル装置230は、その内蔵WiFi接合構造を使用してWiFiホットスポット235を介してインターネット210に接続することができる。したがって、モバイル装置230は、インターネット210に結合されたコンピュータ/サーバ220と対話することができる。モバイル装置230、またはそのユーザ、またはそれに関連する任意のもの、またはそれらの任意の組合せは、本明細書ではモバイルエンティティと呼ばれることがある。
【００１３】
図3は、特定の実施形態によるコンピュータ/サーバ220の概略図を示す。コンピュータ/サーバ220は、スタンドアロン装置として、またはピアツーピア(または分散)ネットワークコンピューティング環境におけるピアコンピューティング装置として動作することができる。図3に示すように、コンピュータ/サーバ220はシステムバス300を介して互いに結合された1つまたは複数の処理部302(例えば、中央演算処理装置(CPU)、グラフィックプロセッシングユニット(GPU)、および/またはデジタルシグナル処理部(DSP))と、システムまたはメインメモリ304とを含む。コンピュータ/サーバ220は、静的記憶部306、ネットワークインタフェース装置308、記憶装置310、1つまたは複数の表示装置330、1つまたは複数の入力装置334、および処理部がシステムバス300を介して通信することができる信号生成装置(たとえばスピーカ)336をさらに含むことができる。
【００１４】
いくつかの実施形態では、表示装置330が1つまたは複数のグラフィックディスプレイユニット(例えば、プラズマディスプレイパネル(PDP)、液晶ディスプレイ(LCD)、プロジェクター、または陰極管(CRT))を含む。入力装置334は英数字入力装置(例えば、キーボード)、カーソル制御装置(例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、又は他の指示器具)を含むことができる。記憶ユニット310は本明細書で説明されるシステム、方法論、または機能のうちのいずれか1つまたは複数を可能にする命令316(たとえば、ソフトウェア)が格納される機械可読媒体312を含む。記憶ユニット310はまた、システム、方法論、または機能によって使用および/または生成されるデータ318を記憶することができる。命令316(例えば、ソフトウェア)はコンピュータ/サーバ220による実行中に、メインメモリ304内または処理部302内(例えば、処理部のキャッシュ記憶部内)に、完全にまたは部分的にロードされてもよい。したがって、メインメモリ304および処理部302はまた、機械可読媒体を構成する。
【００１５】
特定の実施形態では、本明細書に記載する手続き、装置、および処理は非一時的な的なコンピュータ可読媒体、例えば、システムのためのソフトウェア命令の少なくとも一部を提供する1つ以上のDVD-ROM、CD-ROM、ディスケット、テープなどの取り外し可能な記憶媒体を含むコンピュータプログラムプロダクトを構成する。このようなコンピュータプログラムプロダクトは当技術分野で周知のように、任意の好適なソフトウェアインストールプロシージャによってインストールすることができる。別の実施形態では、ソフトウェア命令の少なくとも一部を、ケーブル、通信、および/または無線接続を介してダウンロードすることもできる。
【００１６】
いくつかの実施形態によるシステム100は、本明細書で開示される機能および方法を実行するためのプログラムを実行する1つまたは複数のコンピュータ/サーバ220を使用して実装することができる。本明細書で説明される例示的な実施形態は、多くの異なる方法で実装され得ることを理解されたい。いくつかの例では、本明細書で説明される様々な方法および機械はそれぞれ、それぞれが中央処理部, 記憶部、ディスクまたは他の大容量記憶装置、通信ユニット、入出力(I/O)装置、および他の周辺機器を有する1つまたは複数の物理、仮想、またはハイブリッド汎用コンピュータによって実装され得る。汎用コンピュータは例えば、ソフトウェア命令を1つ以上のデータ処理部にロードし、命令を実行して本明細書に記載する機能を実行させることによって、本明細書に記載する方法を実行する機械に転換される。図2に示されるように、コンピュータ/サーバ220のいくつかは、ローカルエリアネットワーク(LAN)210を介して相互に連結されており、それがさらにインターネット210を介して連結されている。また、本明細書で言及するそれぞれのコンピュータ/サーバ220は、コンピューティング装置の任意の集合を含むことができる。特定の実施形態によれば、図1に示すように、システム100は、パケットを基礎としたネットワーク200から要求を受信するフロントエンドサーバを含む。これらの要求はモバイル装置にモバイルサービスを提供するときに、パケットを基礎としたネットワーク内の1つ以上のコンピュータ/サーバ220によって生成されてもよい。いくつかの実施形態では、システム100がフロントエンドサーバに結合され、要求のそれぞれに関連付けられたモバイル装置の位置を検出するように構成された位置モジュールをさらに含む。ある実施形態では、位置モジュールがさらに、受信された要求のそれぞれにおける位置データを調べて、それらが信頼できる緯度/経度(LL)の対を含むかどうかを判定するように構成され、要求が信頼できるLLの対を含まない場合、位置モジュールは、その全体が引用により本明細書に組み込まれる、平成30年2月6日に発行された共同出願の米国特許第9,886,703号により詳細に記載されているように、位置データ内の他の情報から関連するモバイル装置の位置を導出することに進む。システム100はさらに、位置モジュールに結合され、検出されたモバイル装置の位置が地理データベース内の任意の地理的場所を誘起（トリガ）し、誘起された地理的場所をフロントエンドサーバに返すかどうかを決定するように構成されたジオフェンシングモジュールを含む。特定の実施形態では、地理的場所がジオフェンスおよびジオブロックを含む。地理データベースは地理的領域または空間を表すデータを記憶および照会するために最適化された空間データベースであり、地理的領域または空間のそれぞれに関連する空間データおよびメタデータを含むことができる。
【００１７】
いくつかの実施形態では、ジオフェンスが様々なエンティティおよび/またはブランドに関連付けられた現実世界の地理的領域を反映する、定義された領域または場所の仮想周辺（周囲）を表す空間データを含む。特定の実施形態による定義された領域は事業位置の周りの静的な円、例えば、POIおよびそれらの位置のリストを提供する、InfoUSA(www.infousa.com)などのオフライン指標データベースを使用して取得されたフェンス、または、近隣境界、通学ゾーン、または区画境界などの事前定義された境界を使用してマーケターによって指定された領域とすることができる。
【００１８】
特定の実施形態では、定義された領域が、POIの周辺の地図データを考慮した複数のPOIの各々についての１以上のジオフェンスを含む。例えば、図4に示すように、コストコアルマデンストア401についての１以上の多角形は、店舗の建物の周辺の第1の多角形410、建物およびその駐車場の周辺の第2の多角形420、および/または店舗および他の関心点(POI)を含むショッピング領域または事業領域の周辺の第3の多角形430など、店舗およびその周辺の現実世界の地理的構造および境界に適合する。いくつかの実施形態ではこれらの異なるタイプのジオフェンスがPOIに関してモバイルユーザの異なるレベルの意図、関心、および/または行動などを示すために、関心点(POI)について定義され、これは位置予測目的のために使用することができる。
【００１９】
したがって、ある実施形態では、様々なタイプのジオフェンスが事業に関連付けられ、たとえば、(1) 事業のビルの周辺に対応する多角形(たとえば、図4の第1の多角形410)によって表される事業センタ(BC)、(2) 事業ビルの周辺および隣接する駐車場に対応する多角形(たとえば、図4の第2の多角形420)によって表される事業所構内(BP)、および(3) 事業が位置するショッピングセンターまたは事業または商業エリアの周辺に対応する多角形(たとえば、図4の第3の多角形430)によって表される事業領域(BR)または地域を含むことができる。事業センタがモバイル装置の位置によって誘起される場合、モバイル装置のユーザが実際に事業を訪れることによって事業に関心があることを確実に推論することができる。事業所構内を誘起することは事業所を訪れる意図を良好に示すが、事業センタを誘起することほど強くはない。ユーザが事業領域を誘起する場合、その意図は確かであるが、事業所構内を誘起することからの意図よりも弱いと見なされ得る。
【００２０】
図5は、特定の実施形態による、ジオフェンスデータベース内のジオフェンスのいくつかの例を示す。図示のように、アルマデンのコストコはそれに関連するジオフェンスの3つの異なったタイプを有する。フェンスID 19-35175を有するジオフェンスが事業センター(BC)に対応する。事業センタは店舗建物の周りの多角形によって定義され且つ空間指標a1, a2, aiによって表される。フェンスID 19-35176を有するジオフェンスは、その駐車場を含むより大きな構内の周りの多角形であって空間指標b1, b2, bjによって表される多角形に対応する。フェンスID 19-35177を有するジオフェンスは、店舗および他のPOIを含むショッピングセンターの周りの多角形であって空間指標c1, c2, ckによって表される多角形に対応する。フェンスID 19-35177を有するジオフェンスは、ショッピングセンター内の他のPOIの名称/ブランド、ならびにショッピングセンター自体の名称にも関連付けられることに留意されたい。図5はまた、T.J. MaxxがフェンスID 19-35177に関連付けられ、それに関連付けられた2つの他のタイプのフェンスも有し、Trader Joe'sもフェンスID 19-35177に関連付けられ、少なくともそれに関連付けられた事業センタ場所を有することを示す。図5に示すように、ジオフェンスデータベース内の各ジオフェンスエントリは例えば、場所に関連付けられた1つ以上の名称/ブランド、場所の分類（カテゴリ）、特定の場所(例えば、都市、地区など)を識別する場所識別子、場所タイプ、および/または名称/ブランドまたは場所に関連付けられた1つ以上の情報文書(例えば、1つ以上のhtml/ JavaScriptファイル)を識別する1つ以上のdoc IDなど、それぞれの場所に関する何らかのメタデータとともに、それぞれの場所に関連付けられた空間データを含む。ほとんどの場合、POIの名称はそのブランドとして確立されているので、それらは互換的に使用される。議論を容易にするために、POIのブランドは、以下ではジオフェンスデータベース内のPOIに関連する、POIの名称またはブランドのいずれかである。
【００２１】
特定の実施形態では、ジオデータベース内のジオブロックが以下でさらに詳細に説明するように、主要道路、海岸線、山脈などの自然境界を有する地理的領域を表す。図6は、特定の実施形態による例示的なジオブロックを示す。この例ではカリフォルニア州サンタクララ市の領域について、ジオブロックは例えば、グーグルマップから取られた領域の地図の上に重ねられた境界に輪郭が描かれたように示され、ジオブロックの境界は主な道路上の旅行者からのモバイル信号を排除するように道路幅を考慮に入れて、主要道路および自然境界とほとんど整列される。
【００２２】
例えば、Moonlite Shopping Centerを含むジオブロック601はそれぞれ、El Camino Real、Bowers Ave、およびBenton Stの主要道路によって3つの側面が境界を接し、Saratoga Creekによって別の側面が境界を接するように示されている。図6に示されるジオブロックの各々は、より小さい道路によって境界付けられる、より細かいブロックにさらに分割され得る。これらのジオブロックに存在する実世界エンティティは一般的な機能的目的(住宅、小売等)に役立つ傾向がある。これらのブロックは、意図および人口統計のような位置依存属性を高度に示す境界の構築のための基礎を形成する。図7は、特定の実施形態による、ジオデータベース内のジオブロックのいくつかの例を示す。図示のように、それぞれのジオブロックは例えば、ジオブロックが位置する都市／州、ジオブロックの機能(例えば、住宅、小売、レクリエーション、教育など)、ジオブロック内の1つまたは複数の主要なPOI、ならびに、ジオブロックの居住者または訪問者の人口統計、およびジオブロック内の位置データを有する要求の表など、ログされた要求データから導出することができる他の情報を含む、ジオブロックの境界およびメタデータを定義する空間データを含む。
【００２３】
特定の実施形態では、図8Aに示すように、フロントエンドサーバは例えば、モバイルサービスプロバイダ(MSPまたはMSPサーバ)によって実行されるサーバから、ネットワーク200を介して要求801を受信する。要求801は、要求ID、モバイル装置ID、型/モデル、オペレーティングシステムなどのモバイル装置データ、ユーザID(UID)、年齢、性別、収入区分、教育レベルなどのモバイルエンティティデータ、緯度経度座標(LL)、IPアドレス(IP)、郵便番号(ZC)、および/または都市／州名などの複数の位置成分を含むモバイル装置位置データを含む。前記要求は、他の情報をさらに含むことができる。特定の実施形態では、フロントエンドサーバが位置構成要素の妥当性および一貫性をチェックし、任意の不正な位置構成要素を除外することによって、位置情報を検証する。一般に、LLは、通常、最も有用な位置成分であると考えられる。しかしながら、移動エンティティがその位置情報を知らない場合、MSPサーバにおけるモバイルアプリケーションは典型的には例えば、IPアドレス、ZC(例えば、登録時にユーザによって入力される)、またはCSの形成で粗い位置データのみを提供する。したがって、MSPサーバのモバイルアプリケーションはしばしば、ジオコーディングソフトウェアから得られたLLを提供し、これは、ZC、CS、および他の関心点を1つの代表的なLLに変換する。一実施形態では、そのような代表的なLLが「不良LL」として分類される。不良LLは例えば、ZC/CSの重心、または地図上の任意の固定点(例えば、(0,0)または任意の位置)であり得る。
【００２４】
いくつかの実施形態では、位置モジュールが2015年5月19日に出願された「System and Method for Estimating Mobile Device Locations」という名称の、共同出願の米国特許出願第14/716,816号に開示された技術を使用することによって、不良LLを伴う位置データが次の段階の処理に提供されないように、不良LLを除外するように構成され、その全体が本明細書にて参考として援用される。
【００２５】
位置モジュールはさらに、要求801からモバイル装置の位置を推定し、推定されたモバイル装置位置を表すための位置データを生成するように構成され、これは、図8Bの生成された位置データを伴う処理された要求802に示されるように、緯度/経度ペアまたはモバイル装置が存在すると推定される1つまたは複数の蓋然性のある地域または領域によって表される地理的点であり得る。ジオフェンシングモジュールは緯度/経度ペアまたは1 つ以上の推定領域を使用してジオデータベースを照会し、位置データがジオデータベース内の1 つ以上の地理的場所を誘起するかどうかを判断し、誘起された地理的場所をフロントエンドサーバに返す。特定の実施形態ではフロントエンドサーバが誘起された地理的場所(複数可)で要求801に注釈を付けて、注釈付き要求810を生成し、注釈付き要求810をバッファ1に出力し、これは注釈付き要求810をバッファし、要求ログに出力する。誘起された地理的場所はジオブロック(モバイル装置がジオブロックされた場所にある場合)を含むことができ、図8Cに示すように、推定された位置または推定地域または領域が1つまたは複数のジオフェンス内にあるか、またはそれと重なる場合、1つまたは複数のジオフェンスをさらに含むことができる。説明を容易にするために、地理的場所(例えば、ジオブロックまたはジオフェンス)の誘起は、本明細書では位置イベントと呼ばれることがある。したがって、注釈付き要求は、1つまたは複数の位置イベントを含むことができる。
【００２６】
図9は、特定の実施形態による、要求ログ内の例示的なエントリを示す表である。要求ログ内の各エントリはそれぞれの処理された(または注釈付けされた)要求に一対応し、要求(またはパケット)ID、モバイル装置IDなどのモバイル装置情報、型/モデル、UID、年齢、性別、経度などのモバイルユーザ情報、緯度/経度の対、誘起されたジオフェンスおよび/またはジオブロックを含む位置イベントに関連するデータ、要求時に使用されるモバイルアプリケーション、および要求のタイムスタンプなど、それぞれの注釈付けされた要求内のデータの少なくとも一部を含む。
【００２７】
いくつかの実施形態では、図8Aおよび図9に示すように、フロントエンドサーバによってインターネットから受信された要求801はモバイル装置上で実行されるアプリケーションプログラム、要求の時刻(例えば、曜日、時、分など)を示すタイムスタンプ、モバイル装置に戻るための情報のタイプを示唆する1つまたは複数のキーワード、および/またはモバイルユーザ、モバイル装置、および/またはMSPに関連する他の情報など、他の情報ならびに位置情報を含む。場合によっては、位置データによって複数の場所が誘起されることがある。例えば、図4に示すように、コストコアルマデンのBC場所410を誘起する要求は同じ事業領域内のPOIのいずれかのBR場所430、ならびに事業領域(例えば、小売センタまたはショッピングモール)のジオフェンスも誘起する。したがって、要求は、同じ事業領域内の1つまたは複数の他のPOIのBR場所、ならびにコストコアルマデンのBC場所で注釈を付けることができる。事業領域自体について、BR場所はそれに関連付けられた唯一のジオフェンスされた場所であってもよい。したがって、事業領域は関連付けられたBR場所が誘起される限り、誘起される。
【００２８】
誘起されたジオフェンスまたは誘起されたジオブロックを含む位置イベント明は、誘起されたジオフェンスまたはジオブロックに関する情報とともに、注釈付き要求に含まれる。要求がブランドに関連付けられた多数の場所を誘起する場合、最小場所(例えば、BCまたはBP場所)のみが、位置イベントとして含まれる。図8Cに示すように、誘起されたジオフェンスのメタデータ812の一部または全部、および誘起されたジオブロックのメタデータ814の一部または全部を、注釈付き要求810に含めることができる。
【００２９】
システム100はさらに、フロントエンドサーバから出力された注釈付き要求810を受信し、要求に応答して文書を提供するかどうか、およびネットワーク200を介してMSPサーバ(または別のサーバ)への伝送のためにどの文書を選択するかを決定するために注釈付き要求810を評価するように構成された文書(または情報)サーバを含む。特定の実施形態では、情報サーバはデータベースによって支援されたコンピュータサーバ（例えばウェブサーバ）である。これは、情報スポンサーがその内容を定期的に更新するために使用するものであり、情報文書を格納し得る。情報文書の各々は例えば、html/JavaScriptファイル又はそれへのリンクの形式で記憶されてもよく、これは例えば、バナー(静止画像/アニメーション)又はテキストの形式でモバイル装置にロードされるとき、情報を表示する。特定の実施形態ではシステム100がさらに、オフライン位置予測を生成するように設定された類似予測サブシステム103を含み、これらは文書サーバによって照会するための予測ライブラリに記憶される。また、オンライン(またはリアルタイム)位置予測を生成するように設定されたオンライン予測サブシステム120は以下の詳細で説明されるように、リアルタイムで文書サーバに提供される。いくつかの実施形態では、文書サーバが以下に説明するように、オフライン位置予測および/またはオンライン位置予測、ならびに他の要因に基づいて、注釈付き要求810を評価する。
【００３０】
特定の実施形態ではMSPへの送信のために選択された文書が例えば、html/JavaScriptファイル、またはURLへのリンクの形態で提供することができ、これはMSPまたはモバイル装置がhtml/JavaScriptファイルを取り出すために使用することができる。html/JavaScriptファイルはいったんモバイル装置上に表示またはインプレッションされると、関心のあるユーザがウェブページにアクセスしたり、モバイル装置を使用して電話をかけたりするためにクリックできる1つ以上のリンクを含むこともできる。ウェブページは、モバイル装置のユーザがアプリのダウンロードまたはオンライン購入のような二次的なアクションをとることを可能にする。
【００３１】
特定の実施形態では、html/JavaScriptファイルは、それがモバイル装置上に表示またはインプレッションされるときに信号がMSPサーバまたはモバイル装置によって文書サーバへ直接的に、又は、他のサーバ（例えばMSPサーバ）を介して送信されるように設計される。このため、文書サーバは、ファイルが実際のモバイル上でインプレッションされたか否かを追跡することができる。特定の実施形態では、機構はまた、1つ以上のリンクのいずれかがクリックされたとき、またはモバイルユーザがアプリをダウンロードしたり、リンクされたウェブページから購入したりしたとき、文書サーバがインプレッションに応じて行われたクリック/コールまたは二次動作を追跡できるように、信号が直接的または間接的に、モバイル装置から文書サーバにバックグラウンドで送信される。文書サーバはこのようなフィードバックイベント(即ち、インプレッション、クリック/コール、及び二次動作)のデータをバッファ2に提供し、バッファし、データをフィードバックログに出力する。図10は、特定の実施形態による、フィードバックログ内の例示的なエントリを示す表である。
【００３２】
したがって、要求内の生の位置データは、処理済み要求内のブランドおよびジオブロックに変換される。要求ログに記録されたデータと、ある期間(例えば、6ヶ月)にわたって収集されたフィードバックログとは、モバイル装置データの大きな集合(例えば、何百万の注釈付き要求およびインプレッション/クリック/コールイベント)を形成する。これらのデータの規模は、通常、意味のある位置予測のために直接的に使用するには大きすぎる。いくつかの実施形態では、類似予測サブシステム103が位置データから特徴およびラベルを抽出することによってロギングされたデータの規模を低減し、特徴およびラベルを使用して1つまたは複数の予測モデルを訓練し、予測モデルを適切な特徴空間に適用してオフライン予測を取得するように構成される。図1に示すように、類似予測サブシステム103は、データマネージャ、モバイル装置データベース、機能生成部、機能/ラベルデータベース、訓練モジュール、予測モデルライブラリ、オフライン予測モジュール、インデクサ、および指標付き予測ライブラリを含む。
【００３３】
特定の実施形態では、フロントエンドサーバが入ってくる要求を引き続き受信し処理する間、類似予測サブシステム103は図11に示す方法1100を実行するように構成される。図11のブロック1110〜1130に記載され、さらに図12に示されるように、データマネージャは、事前定義された期間内に要求データからユーザ空間1200を定義するように構成される。ユーザ空間1200は例えば、要求ログ内の所定の期間(例えば、最後の6ヶ月)のタイムスタンプと関連付けられた所定の数を超える要求を有するなど、特定の要件を満たすモバイル装置を含むことができる。ユーザ空間1200内のユーザは、シードリスト1210内のユーザと重複する必要がある。データマネージャはさらに、ユーザ空間内のモバイル装置の少なくとも一部を含むサンプル空間を定義するように構成される。サンプル空間内のモバイル装置は、サンプル空間内のモバイル装置のそれぞれがシードリストに関連付けられた類似発見明細（関連付けられたモバイルユーザの特定の年齢および/または性別グループ）又はモバイル装置の位置についての特定の要件（これは、シードリストを含む外部提供ファイルにて指定されてよい）を満たすように、選択されてよい。したがって、シードリストに関連付けられた類似発見明細の要件を満たさないモバイル装置1201のうちのいくつかが切り取られ、ユーザの残りの部分がサンプル空間1220を形成するように残される。ユーザ空間1200にないシードモバイル装置もサンプル空間1220に含まれない。次に、データマネージャはサンプル空間1220内のユーザの小さな割合(例えば、サンプル空間の大きさに応じて2%〜10%)とシードリスト内のユーザのおよそ等しいパーセンテージとをランダムに選択し、選択されたユーザを訓練区分(または訓練セット)1221および評価区分(または評価セット)1222に区分する。例えば、選択されたユーザの80%が訓練区分を形成し、選択されたユーザの20%が評価区分を形成する。特定の実施形態では、選択されたユーザのすべてが訓練区分として使用される。
【００３４】
図11のブロック1140に記載されているように、データマネージャはさらに、事前定義された期間内のタイムスタンプを有する要求ログ内のエントリから、事前定義された期間内の位置イベントに対応する1組のモバイル装置データを抽出するように構成されている。特定の実施形態では、図13に示すように、データマネージャは複数のモバイル装置のそれぞれのモバイル装置について、モバイル装置に関連付けられ、所定の期間(例えば、過去6ヶ月)のタイムスタンプを有する処理済み要求を検索するように構成された検索エンジンと、検索エンジンからの出力をバッファするように構成されたバッファとを含む。複数のモバイル装置は、訓練区分および評価区分内のモバイル装置、ならびにサンプル空間の残りの部分内のモバイル装置の一部または全部を含むことができる。データマネージャは予め設定された時間間隔(例えば、1時間)内の同じ場所でモバイル装置によって誘起された連続するタイムスタンプに対応する複数の位置イベントが単一の位置イベントに低減されるように、バッファされたデータを圧縮する圧縮部をさらに含む。例えば、図9に示すように、UID 36***412を有するモバイル装置は、１時間以内の異なる時刻に、同じジオフェンスB175及び同じジオフロック396841を誘起した。ジオフェンスまたはジオブロックに関連する2つのイベントは単一のイベントに低減され、最も早いタイムスタンプから1時間以内に最も早いタイムスタンプと最も遅いタイムスタンプとの間の差を使用して計算された持続時間を有するタイムスタンプのうちの1つ(例えば、最も早いタイムスタンプ)において誘起されたジオフェンスまたはジオブロックに対するモバイル装置による単一の訪問を示す。モバイル装置による他の位置イベントが、同じ場所ではあるが、最も早いタイムスタンプから予め設定された時間間隔を超えるタイムスタンプを有すると、モバイル装置によるその場所への他の訪問であると考慮される（仮に、モバイル装置がずっと同一の場所に滞在した場合であっても）。
【００３５】
特定の実施形態では、検索エンジンが、関連するブランドに応じて、特定のタイプのジオフェンスを有する位置イベントのみを検索するように構成することができる。例えば、特定のブランドについては、誘起されたBC場所を有する位置イベントのみがこれらのブランド/名称への訪問と見なされ、特定の他のブランドについては誘起されたBP場所を有する位置イベントがこれらのブランドへの訪問と見なされるのに十分である。小売センタまたはショッピングモールなどの一部のブランドについては誘起れたBR場所を有する位置イベントがこれらのブランドへの訪問と見なされる。
【００３６】
データマネージャはさらに、モバイル装置のための圧縮された位置イベントを記憶する別のバッファと、位置イベントを集約してモバイル装置のための期間内の位置イベントに対応する一組のモバイル装置データを形成するように構成された集約部とを含む。図14に示すように、UID36***412を有するモバイル装置についてのモバイル装置データ1410は例えば、年齢、性別、教育レベル、および型/モデル、オペレーティングシステムなどの他の情報などの装置とユーザとのメタデータを含んでよく、期間中にモバイル装置によって誘起された各ジオブロックに関連付けられた集約位置イベント、期間中にモバイル装置によって誘起された各ブランドに関連付けられた集約位置イベント、期間中にモバイル装置にインプレッションされた1つまたは複数の文書に関連付けられた集約フィードバックイベント、および期間中にモバイル装置上で使用されたモバイルアプリケーションに関連付けられた集約使用データを含んでよい。ある実施形態では、位置イベント812がブランドを含むときに、ブランドが誘起される。あるいは上述のように、ブランドが多数のタイプのフェンスを使用する場合、位置イベント812が訓練される予想モデルに対して指定されたブランド及びフェンスタイプを含むとき、ブランドは誘起される。
【００３７】
特定の実施形態では、各誘起されたジオブロック(例えば、GBx)またはブランド(例えば、Bx)に関連する集約された位置イベントは例えば、その期間中のジオブロックまたはブランドへの訪問の回数、その期間中の最後の訪問時間、訪問当たりの平均の滞在の長さなどを含む。特定の実施形態では、ジオブロックまたはブランドへの訪問の回数が朝(午前6:00〜午後12:00)、午後(午後12:00〜午後6:00)および夕方(午後6:00〜午前6:00)などの1日の間の複数のタイムブロック(TBI、TB2、TB3として示される)に分割される。同様に、その間にモバイル装置上で使用されるそれぞれのモバイルアプリケーションに関連する使用データが、同様に集約される。期間中にモバイル装置にインプレッションされた1つまたは複数の文書(たとえば、Docx)のそれぞれに関連する集約フィードバックイベントはたとえば、その期間中にモバイル装置上で行われた文書のインプレッション数、インプレッションされた文書上で行われたモバイル装置のクリック/コールの数、およびインプレッションされた文書に応じてモバイル装置で行われた二次動作の数を含むことができる。これらの数は、異なる時間ブロックの間で分割することもできる。
【００３８】
データマネージャは複数のモバイル装置毎に上記の検索・圧縮・集約処理を行い、複数のモバイル装置に対する圧縮・集約データをモバイル装置データベースに記憶するように構成される。ある実施形態では、図14に示すように、モバイル装置データベース内の記憶空間を削減するために、各モバイル装置(たとえば、UID36***412を有するモバイル装置)および各期間(たとえば、期間)の圧縮および集約されたデータがテキスト列1420としてモバイル装置データベース内に記憶される。
【００３９】
図6は、数十のジオブロックのみを示す。実際には、地図には数十万または数百万ものジオブロックが存在し得る。そのため、このような多数のジオブロックのそれぞれでイベントが個別に考慮される場合、特徴セットまたはデータの大きさが大きすぎて管理できない蓋然性がある。例えば、各ジオブロックへの訪問頻度を単一の特徴としてとる単純なアプローチは多数のまばらな特徴をもたらし、機械学習性能の低減につながる。さらに、大部分のブロックはシードモバイル装置によって訪問されないか、またはめったに訪問されないので、これらのブロックに関連するイベントは類似の発見処理にとって関心が無く、ノイズおよびエラーを引き起こす蓋然性がある。POIやブランドについても同様である。
【００４０】
したがって、ある実施形態では、複数の地理的領域(たとえば、ジオブロックおよびジオフェンス)が単一のエンティティとして一緒にグループ化され、それぞれのグループへの訪問イベントが集約される。ブランドについては、グループ化基準は、POIメタ情報および空間分布（例えば、同じ小売ブランドの店、同じ空間クラスター内のレストラン）を考慮したものを含む。ジオブロックは、特定のグループ化規則を構築するのに充分なメタ情報を有していない。代わりに、グループ化は、サンプル空間におけるシードモバイル装置とモバイル装置との間の比較の分析を通して達成され得る。たとえば、領域に関するスコアまたは関連性の測定値は、領域に関連する位置イベントに関連する訓練区分内のシードモバイル装置の数と、領域に関連する位置イベントに関連する訓練区分内のすべてのモバイル装置の数との比率をとることによって、ジオブロックごとに計算することができる。次いで、地理的領域は、スコアを使用して順位付けされ、バケツ（buckets）に分割される。
【００４１】
いくつかの実施形態では図11のブロック1150に記載されるように、類似予測サブシステム103は図15に示される特徴エンジニアリング処理1500に従って、複数のモバイル装置のそれぞれにつき特定のシードリストに対応する特徴の集合をエンジニアリング（設計）するように構成された特徴エンジニアリングモジュールをさらに含む。特定の実施形態では、シードリストに関連付けられた明細が、関心のある1つまたは複数の位置を含むことができる。1つまたは複数の位置は例えば、地理データベース内の1つまたは複数のブランドまたは1つまたは複数の分類に関連付けられた1つまたは複数のジオフェンスに対応することができる。1つまたは複数の関心位置は、本明細書では位置グループと呼ばれる。
【００４２】
図15に示されるように、特徴エンジニアリングモジュールは図15のブロック1505に記載されるように、1組のジオブロックを選択し、シードリストに対するジオブロックの各々についての関連性測定値を決定するように構成される。特定の実施形態では、類似発見処理に対する特定のジオブロックの関連性は、関連付けられたスコアまたは関連性測定値によって表すことができる。ジオブロックに関する関連性測定値は、以下でさらに詳細に論じるように、様々な関連性または実績メトリックのいずれかを使用して決定することができる。例えば、シードリストに対する特定のジオブロックの関連性は、訓練区分全体のいずれかのモバイルユーザを伴う特定のジオブロックにおける位置イベントの総数と比較して、シードリストと訓練区分とにおける任意のモバイル装置を含む特定のジオブロックにおける位置イベントの数によって決定することができる。別の事例として、シードリストに関するジオブロックの関連性測定値は、ロギングされた要求データまたは抽出されたモバイル装置データを使用してジオブロックを誘起した訓練区分における別個のモバイル装置の数を決定することによって決定することができる。関連性測定値は単に、シードリスト上にある別個のモバイル装置の数の割合とすることができる。
【００４３】
いくつかの実施形態では、特徴エンジニアリングモジュールが図15のブロック1510に記載されるように、選択されたジオブロックを、それらのそれぞれの関連性測定値に従っていくつかのジオブロック(GB)区分に割り当てるようにさらに構成される。特定の実施形態では、選択されたジオブロックが、各々が関連性測定値の別個の範囲に対応するいくつかのジオブロック区分に分割される。例えば、図16に示すように、2000個の選択されたジオブロックがあり、これは1つ以上の標的地理的領域内のすべてのジオブロックとすることができるし、100個のジオブロック区分(例えば、GBB1、GBB2、GBB100)があり、GBB1内のジオブロックは関連性測定値が最も高い20個のジオブロックを含むことができるし、GBB2内のジオブロックは次に関連性測定値が最も高い20個のジオブロックを含むことができる、などとする。ジオブロックをジオブロック区分に割り当てることにより、データの規模が大幅に低減される。
【００４４】
特定の実施形態では、特徴エンジニアリングモジュールは、ブランドのセット（これは図15のブロック1505に記載されているように、例えば、充分なデータ密度を可能にするためにモバイルユーザがかなり大量に訪れる比較的大きなブランド(BB)のセットとすることができる）を選択するようにさらに構成される。どれだけ多くのブランドが選択されるかに応じて、特徴エンジニアリングモジュールは図15のブロック1520に記載されるように、選択された巨大ブランドを、それぞれの関連性測定値に従って、いくつかの巨大ブランド(BB)区分に割り当てるようにさらに構成されてもよい。特徴エンジニアリングモジュールは、シードリストに関して、選択された各ブランドについての関連性測定値を決定するように構成されてもよい。ブランドの関連性測定値はログされた要求データまたは抽出されたモバイル装置データを使用して、上述したように、ジオブロックの関連性測定値として決定することができる。
【００４５】
幾つかの実施形態ではジオブロックをジオブロック区分に割り当てるのと同様に、上述のように、選択されたブランドは、各々が関連性測定値の別個の範囲に対応する多数の巨大ブランド区分(BBB)に分割される。例えば、1000個の選択されたブランドがあり、20個の大きなブランド区分(例えば、BBB1、BBB2、BBB20)があると仮定すると、BBB1のブランドは最も高い関連性測定値を有する50個のブランドを含むことができ、BBB2のブランドは次に高い関連性測定値を有する50個のジオブロックを含むことができ、以下同様である。巨大ブランドを選択し、任意選択で巨大ブランド区分に割り当てることにより、データの規模がさらに低減される。
【００４６】
特徴エンジニアリングモジュールはさらに、モバイル装置に関連付けられ、訓練期間に対応するモバイル装置データを使用して、複数のモバイル装置のそれぞれについて1組の特徴を構築するように構成される。図15に示すように、特徴エンジニアリングモジュールは複数のユーザの中からユーザを選択し(ブロック1525)、ユーザのための各ジオブロック区分に関連する特徴を生成し(ブロック1530)、ユーザのためのシードリストに関連する特別なジオブロックに関連する特徴を生成し(ブロック1535)、ユーザのための最も頻繁に訪れたジオブロック(MFVGB1、MFVGB-n)の組を識別し、ユーザのためのMFVGBのそれぞれに関連する特徴を生成し(ブロック1540)、ユーザのための各BBまたはBB区分(BBB)に関連する特徴を生成し(ブロック1545)、ユーザのための1つまたは複数の他の特徴を生成する(ブロック1550)ように構成される。特定の実施形態では、MFVGBのセットが小売、住宅、工業等の複数のジオブロック機能の各々からのMFVGBを含むことができる。したがって、MFVGBは、モバイルユーザの家庭であり得る住宅用MFVGB、モバイルユーザの職場であり得る産業用MFVGB、および個人が買い物の大部分を行う場所であり得る小売用MFVGBなどを含み得る。
【００４７】
図17は、その間のUID52**256を有するモバイル装置のための特徴の集合を例として示す。図16に示すように、特徴の組は、装置/ユーザメタデータを含むことができる。ジオブロック区分(GBB1、GBB2、GBBm)のそれぞれのGBBに関連する特徴は、期間中のGBB内の任意のジオブロックへの訪問の回数、期間中のGBB内の任意のジオブロックへの最後の訪問の時間、期間中のGBB内の任意のジオブロックへの訪問当たりの平均滞在期間などを含む。特定の実施形態では、GBBへの訪問の回数が朝(午前6:00〜午後12:00)、午後(午後12:00〜午後6:00)および夕方(午後6:00〜午前6:00)などの1日の間の複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。
【００４８】
同様に、ビッグブランド(BB1、BB2、BBm)または巨大ブランド区分(BBB1、BBB2、BBBm)のそれぞれのBBまたはBBBに関連する特徴は、期間中のBBBまたはBBB内の任意のブランドへの訪問の回数、期間中のBBBまたはBBB内の任意のブランドへの最後の訪問、期間中のBBBまたはBBB内の任意のブランドへの訪問当たりの平均滞在期間などを含む。特定の実施形態では、BBまたはBBB内の任意のブランドへの訪問回数が朝(午前6:00〜午後12:00)、午後(午後12:00〜午後6:00)および夕方(午後6:00〜午前6:00)などの1日の間の複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。特別なジオブロックは例えば、小売用ジオブロックを含むことができる。小売ジオブロックはその関連するメタデータによって示されるように、小売機能を有するジオブロックである。特定の実施形態では、選択されたジオブロックの中の小売ジオブロックに関連する特徴が、重み付けされた訪問および正味の訪問数を含む。正味訪問数は、モバイル装置に関連付けられたモバイル装置データを使用して決定され、期間に対応する、期間内の小売ブロックのいずれかにモバイル装置を用いて行われた訪問数である。重み付け訪問数は、小売ジオブロックの各々への訪問数に小売ジオブロックの重みを乗じた加重和である。小売ジオブロックの重みは、予め選択された期間中に小売ジオブロックを誘起した第5の数の別個のモバイル装置と、小売ジオブロックを誘起し、同じ期間中にシードリスト内の位置のいずれかに関連付けられたブランドを誘起した第6の数のモバイル装置とに基づいて、計算することができる。重みは単に、第6の数と第5の数との比、または2つの数および/または他の要因の何らかの他の組合せとすることができる。第6の数と第5の数は、記録された要求データまたは抽出されたモバイル装置データを使用して決定できる。
【００４９】
特定の実施形態では、最も頻繁に訪問されるジオブロック(MFVGB)が他の選択されたジオブロックと比較してモバイル装置からの訪問回数が最も多いジオブロックである。MFVGBに関連する特徴は例えば、その間のモバイル装置によるMFVGBへの訪問回数、及びMFVGBからシードリスト内の位置の中で最も近い位置までの距離を含むことができる。特定の実施形態では、MFVGBへの訪問回数が朝(午前6:00〜午後12:00)、午後(午後12:00〜午後6:00)および夕方(午後6:00〜午前6:00)などの1日の間に複数の時間ブロック(TBI、TB2、TB3として示される)に分割される。
【００５０】
いくつかの実施形態では、モバイル装置のための特徴の組がモビリティ特徴およびフィードバック特徴などの他の特徴を含むことができる。モビリティ特徴は例えば、期間中にモバイル装置によって誘起された複数の別個のブランドと、期間中に誘起されたジオブロックのすべてへの訪問の合計に対する、モバイル装置によって誘起された複数の別個のジオブロックのGB比率とを含むことができる。フィードバック特徴は例えば、その期間中にモバイル装置上のシードリストに関連する1つ以上の文書のインプレッション数であってよい被曝前特徴、1つ以上の文書のインプレッション数に対する、1つ以上の文書に応答してモバイル装置上で行われるクリック数の比であってよいクリック/コール比、および1つ以上の文書のインプレッション数に対する、1つ以上の文書に応答してモバイル装置上で二次動作が行われた回数の比であってよい二次動作比を含んでもよい。
【００５１】
特定の実施形態では、図11のブロック1160に記載されるように、特徴生成部は訓練区分1221および評価区分1222のために、シードリストに対応する1組のラベルを決定するようにさらに構成される。特定の実施形態ではラベルの組が訓練区分内のモバイル装置の各々に対して1つのラベルを含み、ラベルはモバイル装置がシードリスト内にあるかどうかに応じて、シードリストファイルがシードモバイル装置に対して様々な重みを指定しない場合「1」または「0」であり、重みが指定される場合、シードリストに含まれるモバイル装置のラベルはその重み(例えば、0.95、0.78など)になり、シードリストに含まれないモバイル装置のラベルは「0」になる。特徴生成部は図18に示すように、複数のシードリストについての複数のラベルセットをそれぞれ抽出することができる。ラベルの各セットは以下のさらなる詳細で説明するように、対応する予測モデルを訓練するために使用される。
【００５２】
図1に示すように、類似予測サブシステム103はさらに、図11のブロック1170に示すように、訓練特徴(すなわち、訓練区分内のモバイル装置に関連する特徴)および1組のラベルを使用して予測モデルを訓練するために機械学習アプローチを使用するように構成された訓練モジュールを含む。いくつかの実施形態では、訓練区分のための特徴セットおよび関連する目標値(ラベル)が機械学習処理に入力されて、類似予測モデルを訓練する。
二元目標値については分類モデルが使用され、一方、回帰モデルは連続目標値を処理するために使用することができる。この処理ではいくつかの従来の機械学習モデルのいずれかを使用することができ、その選択は実績、柔軟性、およびスケーラビリティの理由に基づいて行われることが多い。ハイパーパラメータを含むモデルについては、クロスバリデーションを使用することができる。位置履歴データに基づく特徴工学または変形例は、上述したように、位置関連情報を有効に利用するために不可欠である。特定の実施形態では、Breiman, Leo(2001)."Random Forests", Machine Learning.45(1): 5-32. doi: 10.1023/A: 1010933404324]を、回帰式および分類タスクの両方に使用することができる。ランダムフォレスト(Random Forests)は分類的な入力特徴と連続的な入力特徴の両方を受け入れ、オーバーフィッティングに対してより頑健であり、そのハイパーパラメータは、調整するのが比較的簡単である。さらに、ランダムフォレストはデータ中の複雑な構造を捕捉することができ、したがって、広範囲の特徴エンジニアリングなしに、広範囲の実用上の問題にわたって良好な実績をもたらす傾向がある。場合によっては、ランダムフォレストをグラディエントブーストツリー[Hastie, T.; Tibshirani, R.; Friedman, J. H.(2009)."10.Boosting and Additive Trees", The Elements of Statistical Learning(2nd ed.).New York: Springer, pp.337-384.ISBN 0-38784857-6]に置き換えることができる。このとき、入力特徴データタイプに関して同等のスケーラビリティと柔軟性とが享受される。データ蓄積と計算のための資源（リソース）が制限される場合、ロジスティック回帰[Hilbe, Joseph M.(2009).Logistic Regression Models, Chapman & Hall/CRC Press.ISBN 978-1-4200-7575-5]のような軽量モデルも使用することができる。
【００５３】
訓練モジュールは図1に示すように、複数のシード表の各々について予測モデルを訓練し、予測モデルを予測モデルデータベースに記憶することができる。
【００５４】
いくつかの実施形態では、ブロック1170が評価処理を含んでよく、ここでは予測モデルが類似予測サブシステム103内の予測モジュールによって評価される。これは、評価区分1222(図12に示されている)内のモバイル装置の特徴セットに予測モデルを適用し、図19に示されているように、ブロック1160において、これらのモバイル装置についての類似予測と、これらのモバイル装置について決定されたラベルとの比較に基づいて、予測精度測定値または類似度メトリックを生成するように構成される。精度測定値または類似度メトリックは例えば、予測結果とラベルとの間の標準偏差であってもよい。したがって、良好な予測モデルは、0に近い精度測定値を持つべきである。特定の実施形態では、閾値精度(例えば、15%)が課され、その結果、15%を超える精度測定値を有する予測モデルは廃棄される。モデルに利用可能であれば、この処理は、予測結果に対する各特徴の寄与度を評価することもできる。
【００５５】
特定の実施形態では、図11のブロック1180に記載され、図1に示されるように、予測モジュールはさらに、ブロック1170で得られた予測モデルを、予測結果を生成するために、サンプル空間1220内のモバイル装置に適用するように構成される。いくつかの実施形態では、図20の例によって示されるように、予測結果は、規模と外部実績評価処理との間のトレードオフを決定する際にクライアントに完全な自由を与えるように、サンプル空間内のモバイル装置のいくつかまたはすべてのリストを、それらの較正されたスコアまたは類似のモバイル装置である確率とともに含む。後者の場合、モデルは、正の目標値に近いことを示すために連続スコアを出力することが依然として望ましい。予測結果は指標付けされて予測データベースに記憶され(図1に示すように)、特定の文書をモバイルユーザに送信するかどうかを決定する際に、要求処理部101内の文書サーバによって使用することができる。予測結果は、図21に示すように、サンプル空間内のモバイル装置を順位付けするためにも使用することができる。モバイル装置の上位順位(例えば、85%より高い予測された類似確率を有する)は、類似モバイル装置として選択され、それぞれの予測結果と共に1つまたは複数のデータファイルに含まれる。1つ以上のファイルは図1に示すように、シードリスト処理部102内のクライアントインタフェースによって、パケットを基礎としたネットワークを介して構築され、クライアントに送信されることができる。
【００５６】
したがって、本開示はモバイル装置の位置履歴および機械学習を利用し、類似の予測のための予測分類/回帰モデルを生成する方法およびシステムを提供する。位置関連特徴は他のユーザレベル情報と共に、抽出され、変換され、モデル特徴入力値として使用され、モバイル装置またはそれらの関連ユーザの顧客指定のリストが、予測目標として使用される。このシステムは様々なタイプの位置履歴を効率的に使用し、したがって、改善された規模および実績を提供する。また、異なるシードリストへの自動適応、新しい機能の添加、データの統計的性質の変化など、機械学習プラットフォームによって提供される多くの利益を享受している。このシステムはまた、モデル特徴の重要性に関する研究を通して、位置関連の洞察をシードリストに与えることができる。
【００５７】
特定の実施形態では、ジオブロックデータベース内の少なくとも一部のジオブロックのそれぞれについての空間指標（インデックス）およびメタデータが以下でさらに詳細に論じられるように、ジオブロック定義サブシステム2210によって生成される。ジオブロックスコアリングサブシステム2220は以下でさらに詳細に説明されるように、特定の実施形態に従って、ジオブロック定義サブシステム2210によって生成されたジオブロックをスコアリングし、順位付けするために使用されることができる。次に、ジオブロックの順位を使用して、上記で説明したように、ジオブロックを区分へと編成することができる。
【００５８】
特定の実施形態では、モバイル装置に関連付けられた要求内の位置データがモバイル装置に特定の情報を配信するかどうかを決定する際に、1つまたは複数の標的領域に関しても検査される。特定の実施形態では、標的領域が、特定の情報キャンペーンに対するそれらの関連性測定値に基づいて選択された1つまたは複数のジオブロックを使用して形成される。図22は、特定の実施形態に従って、システム100内の位置処理部101として機能することができる、1つ以上のコンピュータ/サーバシステム220によって提供される情報サーバシステム2200のブロック図である。システム2200は、位置訪問パターンを利用して、キャンペーン目標によって駆動される実績メトリックを最適化する一方で、モバイル広告のためにユーザの合計量に到達できることを保証する、動的に調整された標的領域を使用する。図2および図22に示すように、コンピュータ/サーバシステム120内の処理部202はそれぞれのメインメモリ(または記憶部)204にロードされた1つまたは複数のソフトウェアプログラムを実行するとき、地理的領域定義サブシステム2210、訪問行動モデル化サブシステム2215、地理的領域実績スコアリングサブシステム2220、地理的領域選択サブシステム2225、リアルタイム実績メトリック記録サブシステム2230、および位置履歴データロギングサブシステム2235を含む情報サーバシステム2200を提供する。システム2200は情報サーバシステム2200によって使用および/または生成されたデータを記憶する複数のデータベースを利用し、これには、生成された地理的領域(またはジオブロック)のジオメトリおよびメタ情報を記憶するデータベース2250、地理的場所の空間指標およびメタデータを記憶するデータベース2255、キャンペーン情報を記憶するデータベース2260、ロギングされた移動供給データを記憶するデータベース2265、および1つ以上の他のデータベース(たとえば、地理的領域の実績スコアデータを記憶するためのモバイル装置ユーザ行動モデルデータおよびデータベース2275などの計算されたメタデータを記憶するデータベース2270など)が含まれる。これらのデータベースのいずれかまたはすべては、1つまたは複数のコンピュータシステム120の記憶装置210、またはネットワーク200内の1つまたは複数の他のサーバ/コンピュータシステム120および/またはNAS121に配置することができ、これは処理202がネットワークインタフェース装置208を介してアクセスすることができる。
【００５９】
図23は、本発明の一実施形態による情報サーバシステム2200によって実行される方法2300を示すフローチャートである。図23に示すように、方法2300は地理的領域定義サブシステム2210によって実行される処理2311を含む。ここで、以下でさらに詳細に説明するように、地理的領域が定義され、関連付けられたメタ情報が取得される。いくつかの実施形態では、様々なメタ情報を、その機能(住宅、仕事、小売など)、その平均モバイルユーザ量、およびそのKPI評価指標などとして、定義された地理的領域にマッピングすることができる。メタ情報はシステム2200内の他のサブシステムに利用可能にすることができ、標的領域の構築に組み込むことができる。
【００６０】
該方法2300は更に、意図されたモバイル装置ユーザ、例えば、特定のブランド又は特定の事業エンティティの顧客の訪問行動をモデル化する訪問行動モデル化処理2316を含む。ある実施形態では、訪問行動モデル化サブシステムが最初に事業エンティティの顧客のサンプル集合を取得し、次にサブシステム2235によって提供されるデータから、データベース2270に記憶された地理的領域へのこれらのサンプル顧客の訪問履歴を抽出することによって、特定の事業エンティティの顧客が様々な地理的領域を訪れる蓋然性を推定する。
【００６１】
該方法2300は実績スコアリング処理2321を更に含み、該処理では、質又は実績スコア又は測定値が地理的領域の各々に対して割り当てられる。特定の実施形態では、スコアが、特定のキャンペーン実績ゴールに依存する。例えば、場合によっては、広告キャンペーンの目標がより多くの人々がブランド店を訪れるようにすることである。次いで、地理的領域の実績スコアはユーザがこの特定の地理的領域を訪れた後に、ユーザがブランド化された店を訪れる蓋然性として定義することができる。ブランド販売収入が興味深い場合、実績スコアは、ブランド顧客の訪問行動および購入行動から導き出すことができる。
【００６２】
特定の実施形態では処理2311、2316、および2321はオフラインで実行される。該方法2300は、地理的領域選択サブシステム2225によって実行されるリアルタイム又はオンライン調整処理2326を更に含む。特定の実施形態では、リアルタイム調節処理2326がいくつかのサブ処理を含み、その一部または全部をオンラインまたはリアルタイムで実行することができる。図23に示すように、リアルタイム調節処理2326は、地理的領域選択処理2382と、ジオフェンスを基礎とした標的処理2386と、リアルタイムペース調整推定処理2388とを含む。キャンペーンの開始時に、地理的領域スコアリングサブシステム2220は、いくつかの最高スコアリングの地理的領域を選択することによって、最初の標的領域を提供する。この回数は、推定平均実績または平均合計到達可能ユーザ量に基づいて決定することができる。これらの領域は、空間指標ファイルを生成するために処理され、空間指標ファイルは次に、そのリアルタイム位置がアクティブジオフェンス内にあるユーザを検出するために使用される。これらのユーザは、情報サービスを受信するための潜在的な候補となる。同時に、サブシステム2225は処理2326において、キャンペーンに関連する情報がユーザに提供されている速度(すなわち、ペース調整状況)を追跡し、それに応じてジオフェンスを調整する。したがって、実績とペース調整との間のバランスは、方法2300を使用して達成することができる。
【００６３】
図24は、いくつかの実施形態による、1つまたは複数のコンピュータ/サーバシステム220によって提供されるジオブロック定義サブシステム2210の概略図である。図24に示すように、コンピュータ/サーバシステム120内の処理部202はメインメモリ204にロードされたジオブロック定義ソフトウェアプログラム2401を実行する際に、ジオブロック定義サブシステム2210を提供し、このサブシステムは、ジオブロック定義モジュール2410、ジオブロック構築モジュール2420、リアルタイムデータロギングモジュール2430、メタデータ算出モジュール2440、およびジオブロック精製モジュール2450を含む。ジオブロック定義サブシステム2210はジオブロック定義サブシステム2210によって使用および/または生成されたデータを記憶する複数のデータベースを利用し、ジオブロック構築モジュール2420および/またはジオブロック精製モジュール2450によって生成されたジオブロックを記憶するデータベース2460、ロギングされた移動供給データを記憶するデータベース2470、および人口統計データおよび記録データなどの計算されたメタデータを記憶する1つ以上のデータベース(例えば、データベース2480および2490)を含む。これらのデータベースのいずれかまたはすべては、処理202がネットワークインタフェース装置208を介してアクセスできる、記憶部210、またはネットワーク200内の別のサーバ/コンピュータ120および/またはNAS121に配置することができる。
【００６４】
サブシステム2210によって作成されたジオブロックの例は、ある実施形態に従って図7に示される。概して、地理的領域の定義は上述したものに限定されない。また、それ自身のメタ情報の有無にかかわらず、別の組の地理的領域を後続の処理に使用することもできる。
【００６５】
図25は、特定の実施形態によるジオブロック定義システム2200によって実行される方法2500を示す。図25に示すように、地理データ抽出部2410はデータを提供するネットワーク200内のサーバから利用可能な移動経路及び自然境界データを取得し、移動経路及び自然境界データに基づいて、移動経路及び自然境界(地理データ)の地理情報を抽出し、前処理する(2510)。ジオブロック構築モジュール2420は、抽出されたジオデータ（地理データ）および公的に利用可能な地図データを使用してジオブロックを作成する(2520)。リアルタイムデータロギングモジュール2430は作成されたジオブロックに関して、リアルタイムモバイル供給(例えば、モバイル出版社からの広告要求)を処理し、記録（ロギング）する(2530)。メタデータ算出モジュール2440はロギングされたモバイル供給データおよび様々なデータソースから、位置特定の属性情報などのメタデータを取得する(2540)。ジオブロック精製モジュール2450は境界となるケースを改善し、ジオブロック構築モジュール2420によって考慮されない実世界オブジェクトの地理的情報を組み込み、関連するメタデータを用いてジオブロックを豊富にするために、ジオブロックを精緻化する(2550)。
【００６６】
処理2510では、移動経路(高速道路、鉄道、水路など)の地理的情報、ならびに自然境界(沿岸線、湖の境界など)が収集される。このためのデータ源としては、OpenStreetMap(www.openstreetmap .org/)などがある。これらのオブジェクトは幾何学的にはそれらのタイプ、幅、及び交通速度のようなメタデータと共に、線分の集合として記述される。特定の実施形態では、これらの線分がそれらの重要性、例えば、高速道路よりも低い住宅領域スコアの住宅領域道路に基づいて収集され、スコアリングされる。しきい値を超えてスコアリングされた線分は線セットを形成するために収集され、線セットは処理2520において、初期ジオブロックを定義するために使用される。
【００６７】
処理2520では、処理2510で定義された線セットを使用して、線セット内の線と整列した境界を有する多角形を形成する。図26は、特定の実施形態による、そのような多角形を形成するための方法2600を示す。図26に示すように、方法2600は以下を含む: 
(2610)線セットの定義；
(2620)均一な最初の色彩(CI)の画像の作成画像の大きさは、ある所定の水垢比率に基づいて地理的領域にマッピングされる; 
(2630)線の幅と規模に基づいて異なる太さの線をプロットする（描く）ことにより、線の幅を考慮して、色彩(C2)の異なる画像上に線セットをプロットする; 
(2640)カバーされていない領域として、最初の色彩(C1)の画素を画像内で探索する;
(2650)各カバーされていない領域について、領域成長（発展）アルゴリズムを使用してこの領域に属する画素を識別する; 
(2660)この領域の輪郭を検出し、多角形表現に変換する; 
(2670)領域がカバーされていることを示すために、この領域に属するすべての画素を色彩(C2)に変更する; 
(2680)色彩(C1)内にさらに画素があるかどうかを判定し、色彩C1内にそれ以上画素が見つからなくなるまで処理(2640)から(2670)を繰り返す；
(2690)多角形表現を初期ジオブロックとして格納する。
【００６８】
このように形成された多角形は、初期ジオブロックである。いくつかの実施形態ではメートル以下の精度を維持しながら、全国的または地球的規模でジオブロックを定義するために、画像処理方法2600は複数の小さな領域のそれぞれに使用され、複数の小さな領域からの多角形はより大きな領域のための最初のジオブロックを形成するために併合される。異なる閾値を用いることにより、異なる粒度のジオブロックを構成し、ジオブロックの階層を形成することができる。処理2520で形成されたジオブロックは指標付けされ、ジオブロックデータベース2460に記憶される。
【００６９】
特定の実施形態では図27に示すように、リアルタイム入力(例えば、広告要求)は処理2530において、最初のジオブロックに関して処理され、記録される。例えば、到来する広告要求、またはモバイル装置の位置情報を送信する任意の他の信号が与えられると、位置情報は「System and Method for Marketing Mobile Advertising Supplies」と題する2015年5月19日に出願された同時係属中の米国特許出願第14/716,811号に開示されたものなどの位置モジュールによって処理され、この特許出願はその全体が本明細書に参考として組み入れられる。位置モジュールは例えば緯度/経度(lat/long)の形式で検証された又は導出されたモバイル装置位置を出力し、これは次にブロックルックアップモジュールによって処理される。ブロックルックアップモジュールはジオブロックデータベース2460内のブロック指標に対して空間検索を実行して、モバイル装置が配置されているジオブロックを決定し、モバイル装置が配置されているジオブロックを識別するblock_idを返す。
【００７０】
同様に、モバイル装置位置は、POI(point of interest)ルックアップモジュールによって処理されて、位置が任意のPOIに関連付けられているかどうか(ユーザがPOIを訪れている蓋然性があることを示す)を判定する。いくつかの実施態様では、このルックアップがPOI表上の空間指標検索として実施され、装置はその位置が既存のPOIジオフェンス(例えば、ブランドの事業位置を取り囲む円形フェンス)を誘起するときはいつでも、POIに関連付けられる。いくつかの他の実装では、POIがPOIの建物、領域、または駐車場に対応する多角形ジオフェンスとして表される。POI関連付けは、上記で引用した同時係属中の米国特許出願第14/716,811号に記載されているように、装置位置がPOIジオフェンスを誘起するときはいつでも識別される。
【００７１】
図27に示すように、処理2530は、POIを誘起するリアルタイム入力ごとに、POI訪問ログ(SVログ)、要求ログ、インプレッションログ(impsログ)、クリックログ、および二次動作ログ(SARログ)の5つのログファイルを作成する。各ログの本質的な構成要素は、以下のように記述される: 
SVログ:(UID, ブランドID, タイムスタンプ, ブロックID) 
要求ログ:(UID、要求ID、ブロックID、他の典型的な要求メタデータ) 
ログの影響:(UID、要求ID、ブロックID、他の典型的なメタデータを暗示する)クリックログ:(UID、要求ID、BLOCK ID、他の典型的なクリックメタデータ) 
SARログ:(UID、要求ID、ブロックID、他の一般的なSARメタデータ) 
ここで、UIDはUUID、IDF A、GIDFAまたはANDROIDの形式の固有の装置idであり、要求IDは特定のリアルタイム入力(例えば、広告要求)を識別する固有のidであり、ブロックIDは、リアルタイム入力に関連するモバイル装置が位置する固有のジオブロックを表す。例えば、図28は、ある実施形態による要求ログを示す表である。
【００７２】
特定の実施形態では、上記ログの1つ以上を処理2540で使用して、ジオブロックのメタデータを計算することができ、これを使用して、ジオブロックに関連する近傍属性情報を決定することができる。例えば、人間の活動レベルは広告要求頻度をカウントすることによって研究することができ、ジオブロック関連付けは、同じモバイル装置の存在を共有するジオブロックのサブセットを見つけることによって決定することができる。さらに、家庭用郵便番号データを有する住宅ジオブロック(Infousaはそのようなデータプロバイダの一つ)と地図人口統計データを識別できる。小売、学校、または事業所（オフィス）のジオブロックはPOIデータ(Infousa、Tomtom、OpenStreetMapはデータプロバイダの例)で認識することができる。
【００７３】
処理2550において、ジオブロックは、既存のジオブロックの併合および/または分割を適用することによって、およびジオブロックにメタデータを追加することによって、精緻化および強化される。一実施形態では、郵便番号データ、POIデータ、人口統計データ、および記録されたリアルタイム入力データなどのメタデータが既存のジオブロックに重畳され、各ブロックが併合ステップおよび分割ステップによって評価される。併合ステップでは、ブロック形状およびメタデータを使用して、ブロック間の類似度を判定する。例えば、2つの隣接ブロックはそれらが共に住宅領域であり、同様のモバイル装置のユーザ行動を示す場合、併合されてもよい。別の実施形態では、各々が不十分な広告要求データを有する近くのジオブロックのグループが、統計的により信頼性のある分析のために一緒に併合されてもよいことである。
【００７４】
分割ステップではメタデータを使用して、一定のジオブロックによって表される近傍属性情報を決定し、これらのジオブロックのそれぞれが、より明確な近傍属性情報を持つ複数の小さなジオブロックに分割されるかどうか、およびそれらの方法を決定する。いくつかの実施形態では、最初のジオブロックを作成するために使用される境界情報以外の実世界オブジェクトの情報を用いて、さらなる精緻化を行うことができる。ブロック内で何らかの不一致が識別された場合、分割が実行されて、ブロックを、各々がより一貫性のある近傍を捕捉するいくつかのより小さいブロックに分割する。
【００７５】
図29は9桁の郵便番号(Infousa)の空間的な分布を調査することによって、または赤い星によって表される検出された位置2903を有するログされたリアルタイム入力(例えば、広告要求)を分析することによって、住宅領域2901(これは青い多角形によって囲まれている)と森林領域2902との区分を示す。図30は、住宅領域3002からの小学校3001の離隔を示す（ここでは学校境界データがOpenStreetMapから導出される）。
【００７６】
特定の実施形態では、メタデータは、処理2540で計算されたメタデータを利用することによって、処理2550でジオブロックに追加されることができる。一実施形態では、ジオブロックが住宅、小売、事業所、商業ブロック、および産業等の主要機能によってタグ付けすることができる。いくつかの他の実施形態では、ジオブロックが代替的にまたは追加的に、学校、病院、空港、スタジアムなどの主要なPOIによってタグ付けされ得る。特定の実施形態によるメタデータ豊富ジオブロックの例示的なデータ構造を図8に示す。追加されたメタデータは、広告ターゲティング、広告実績最適化、位置を基礎としたソーシャルネットワークなどの位置を基礎とした情報サービスで使用することができる。
【００７７】
このように、本開示は、移動経路、自然境界、および人間の活動の特定のタイプに非常に関連する他の現実のオブジェクトの地理的情報を使用して都市領域を分割することによってジオブロックを生成するシステムおよび手法を提供する。それぞれのジオブロックは移動経路、湖、河川、丘または山脈、保養領域、学校、空港などの広大な開発領域の境界などの現実世界のオブジェクトによって定義される少なくとも1つの境界を有し、近隣、事業所、学校、空港などの特定の属性を示すメタデータを保持することができる。実際には、ジオブロックの大部分のそれぞれが、そのような現実世界のオブジェクトによって、すべての側または複数の側で境界が定められている。したがって、ジオブロックは現実世界の位置区分に対して高いベルの関連性を有する特徴を生成し、道路交通を通り過ぎることを自然に回避し、位置を基礎とした情報サービスよび位置標的の目的のために柔軟性のあるレベルの粒度を提供する。
【００７８】
例えば、図31は特定の実施形態によるジオブロック定義サブシステム2210によって生成されたジオブロックをスコアリングし、順位付けするジオブロックスコアリングサブシステム2220のブロック図である。特定の実施形態ではシステム2220がコンピュータ/サーバシステム220によって提供される。これはサブシステム2210または異なるコンピュータ/サーバシステムを提供する同じコンピュータ/サーバシステム220であってもよい。図31に示すように、コンピュータ/サーバシステム220内の処理部202は、メインメモリ204にロードされたジオブロックスコアリングソフトウェアプログラム3101を実行すると、ジオブロック識別モジュール3110、記録推定モジュール3120、鍵実績指標(KPI)推定モジュール3130、および店舗訪問推定モジュール3140を含むジオブロックスコアリングサブシステム2220を提供する。サブシステム2220は、ジオブロック選択モジュール3150をさらに含むことができる。サブシステム2220はサブシステム2210によって生成されたジオブロックを記憶するためのデータベース3160、ログされたモバイル供給データを記憶するためのデータベース3170、ブロックレベル記録推定結果、KPI推定結果、および店舗訪問推定結果を含むブロックレベル推定結果を記憶するための1つまたは複数のデータベース(例えば、データベース3180)、およびジオブロック選択のためのデータベース3190を含む、サブシステム2220によって使用および/または生成されたデータを記憶する複数のデータベースを利用する。これらのデータベースのいずれかまたはすべては、処理202がネットワークインタフェース装置208を介してアクセスできる、記憶部210又はネットワーク200内の別のサーバ/コンピュータ120および/またはNAS121に配置されることができる。
【００７９】
図32は、特定の実施形態によるジオブロックスコアリングサブシステム2220によって実行されるジオブロックスコアリング方法3200を示すフローチャートである。図32に示されるように、ジオブロックスコアリング方法3200は、ブランドまたは事業エンティティに関連付けられた店舗など、関心点(POI)に関連付けられた標的領域内のジオブロックを識別する方法3210を含む。図35に示すように、標的領域は、POI 1501の周りに描かれた円3500、またはブランドまたは事業のための広告キャンペーンによって設定された任意の形状または規模の領域であってもよい。いくつかの実施形態では、ジオブロック識別モジュール3110がPOI 3501に関連付けられた標的領域3500と実質的に重複するジオブロックをジオブロックデータベース3160内で検索することによってジオブロックを識別する(例えば、識別された各ジオブロックの領域の少なくとも50%がPOIに関連付けられた標的領域内にある)。
【００８０】
該方法3200はブロックレベルの記録（inventory）を推定すること(3220)をさらに含み、記録推定モジュール3120は、異なる時間枠（タイムフレーム）に沿って、および異なるメタデータ規模に沿って要求ログを集約することによって、識別されたジオブロックの各々における記録を推定する。例えば、ブロックID1234568について30〜40歳の男性ユーザの記録を推定するために、単純な方法は、メタデータ要件および過去1週間(または1ヶ月など)におけるブロックID要件に適した、要求ログに見られる要求の総数および固有のUIDの総数の日次平均をとることであってよい。いくつかの他の実施形態では、直鎖状回帰モデルまたは時系列モデルを使用して、様々な時間枠に適用された履歴ログ集約データに基づいて将来の記録を予測する。
【００８１】
方法3200はブロックレベルキャンペーンKPI(3230)を推定することをさらに含み、KPI推定モジュール3130はインプレッション(imp)ログ、クリックログ、およびSARログを使用して、識別されたジオブロックごとに、クリックスルーレート(CTR)、二次動作レート(SAR)などのキーパフォーマンスインデックスを推定する。推定は(ブロックID、CMP ID、CTR、TF)、および(ブロックID、CMP ID、SAR、TF)として表される。ここで、CMP IDはキャンペーンされたものであり、TFはKPIを計算するために使用される時間枠である。幾つかの実施形態では、ジオブロックの大きさは比較的小さく、典型的なキャンペーンは1ヶ月又は2ヶ月しか実行されないので、KPIを確実に計算するためにブロックレベルで十分なインプレッション及びクリックデータを収集することは困難である。例えば、平均CTRが約0.5%であり、SARを確実に推定するために少なくとも100または200クリックであり、平均SARが5%〜7%である場合、CTRを確実に推定するために少なくとも2000〜5000インプレッションを必要とすることがある。
【００８２】
この問題に対処するために、いくつかの実施形態ではKPI推定がキャンペーンから業界（vertical）レベルにロールアップされ、したがって、CTRおよびSARの推定は(ブロックID、業界ID、CTR、TF)および(ブロックID、業界ID、SAR、TF)のタプルとして表される。業界は個々のキャンペーンのライフサイクルによって制限されないので、集約の時間枠はまた、6ヶ月まで延長されて、KPI推定のためのより良い数字を得ることができる。
【００８３】
いくつかの実施形態では、より良好なKPI推定をサポートするために、時間枠規模におけるロールアップも必要とされる。特定のブロックについては、KPIが過去3ヶ月間のデータを用いて最初に推定することができる。データの回収が不足している場合は、過去6ヵ月間のデータを使用する。いくつかの実施形態では、時間枠が1年またはそれを超えてロールアップされることができる。いくつかの実施形態では、より最近のデータポイントがより古いデータポイントよりも高い重みを得るように、時間枠規模におけるロールアップは重み付けされることができる。時間枠規模でのロールアップが、いくつかのジオブロックのKPIを計算するのに十分なデータを生成できない場合、グローバルキャンペーンレベルまたはグローバル業界レベルにわたる平均化を使用して、これらのジオブロックのKPIを推定することができる。
【００８４】
方法3200はブロックレベルの店舗訪問(SV)(3240)スコアを推定することをさらに含み、店舗訪問推定モジュール3140は、識別された各ジオブロックについてブランド訪問蓋然性スコア(SVスコア)を計算する。ブランド販売収入が興味深い場合、この蓋然性スコアは、ブランド顧客訪問行動および購入行動から導き出すことができる。一実施形態では、この蓋然性スコアが店舗訪問率(SVR)によって測定される。これは、所与の時間枠(TF)中にブランド(ブランドID)を訪れたジオブロック(ブロックID)に見られる固有のUIDの割合として定義される。これは、ユーザ行動モデルデータベース2270内のSVログと位置履歴データベース2265内の要求ログとを使用して、以下のように計算される: 
(a)要求ログから、指定されたブロック(ブロックID)でカバーされている位置のすべてのUIDを時間枠(TF)中に少なくとも1 回検索し、ブロック一意変数を定義するUIDの合計をカウントする; 
(b)時間枠TF中にSVログから関心ブランド(ブランドID)に少なくとも1つ(またはn、n>0)の店舗訪問(SV)を行ったセットからUIDを見つけ、block_SV変数を定義するUIDの合計一意数をカウントする; 
(c)2つの固有のUID変数を使用してSVRを計算する: 
block_svr = block_sv/block_unique 
【００８５】
あるいは、平均ブロックサイズが類似しており、より高いblock_SVがより高いSV蓋然性を直接示すという仮定の下で、block_svrの代わりにblock_SVがSVスコアとして直接使用される。
【００８６】
特定の実施形態ではSVスコアがステップ(b)のように計算されるが、何らかの繰り返しパターンでブランドを訪れたユーザのみを考慮する。例えば、SVスコアは、与えられた時間枠TFにおいて少なくとも週に1回、あるブランドを訪れたユーザの数として定義することができる。
【００８７】
方法3200はさらに、各キャンペーンのためのジオブロックの選択を初期化および/または更新することを含み(3250)、ジオブロック選択モジュール3150は、モジュール3120、3130、および3140からの記録推定、KPI推定、および店舗訪問推定フィードに基づいて、特定のキャンペーンのための初期ジオブロックの最適化されたセット3190を決定する。
【００８８】
図33は、特定の実施形態によるジオブロック選択モジュール3150によって実行される初期化および/または更新処理3250を示すフローチャートである。図33に示すように、処理3250は、キャンペーンの目標に基づいて実績スコア測定値を決定することを含む(3252)。たとえば、キャンペーンの目標がユーザクリックを最大化することである場合、CTRが実績スコアとして使用される。あるいはキャンペーンの焦点がクリック後の二次動作である場合、CTRとSARとの積(これは典型的にはイールドと呼ばれる)YIELD= CTR* SARをスコアとして使用することができる。あるいは、キャンペーン目標がブランドロイヤリストに到達することであれば、SVR(block_svr)および/またはSV(block_SV)を使用することができる。より一般的な場合には、スコア測定値が、これらの異なるパラメータの加重和として次のように表されてよい。
スコア= w1*CTR + w2*イールド + w3*SVR + w4*SV
ここで、w1、w2、w3、w4は、特定のキャンペーン目標に基づく調整可能な重み係数である。CTRおよびSAR* CTRはキャンペーンのための2つの可能なKPI目標であり、SVRおよびSVは、記載されるような2つの可能なSVスコア推定値である。
【００８９】
ある実施形態では、ブロック品質スコアが
スコア= w1*N(CTR) + w2*N(イールド)+ w3*N(SVR)+ w4*N(SV)として正規化変数を使用して定義され、ここで、正規化関数N()は
N(x)=(x-m)/STD
などのガウス正規化関数とすることができ、mはxの平均であり、STDは標的可能なジオブロック(すなわち、所与のキャンペーンの標的地域内のジオブロック)の変数xの標準偏差である。いくつかの実施形態では、処理3250が、キャンペーン実績スコア測定値に基づいて、キャンペーンの標的領域内の識別された各ジオブロックのジオブロック実績スコアを計算すること(3254)をさらに含む。なお、標的領域は、キャンペーンによって設定される変数である。この地域は、ブランドの事業位置の周りの円形の半径、多数の郵便番号、都市、州、さらには国家とすることができる。
【００９０】
特定の実施形態では、地理的領域(またはジオブロック)の実績スコアが特定のキャンペーン実績目標に依存する。例えば、場合によっては、広告キャンペーンの目標がより多くの人々がブランド店を訪れるようにすることである。次いで、地理的領域の実績スコアは、ユーザがこの地理的領域を訪れた後に、ユーザがブランド化された店を訪れる蓋然性として定義することができる。特定の実施形態では、以下の処理を使用して、蓋然性を推定し、それぞれの地理的領域についての実績スコアを導出することができる:
(a)上記および同時係属中の米国特許出願第15289104号（2016年10月7日出願）（発明の名称「Method and Apparatus for Measuring Effect of Information Delivered to Mobile Devices」）で論じられているように、ブランド顧客が地理的領域を訪れる確率または割合Paを推定する。この全体は、参照により本願に組み入れられる。
(b)局所領域(例えば、市街地から20マイル以内)内の一般大衆が地理的領域を訪れる確率Pbを推定する。
(c)地理的領域ごとの比率Pa/Pbを、地理的領域を訪れる人物が関心ブランドを訪れる蓋然性の推定値として、使用する。この推定はそれ自体で使用することができ、または、例えば、重み付け平均値を使用して、KPIスコアなどの他の要因と組み合わせて、ジオブロックの実績スコアを取得することができる。
【００９１】
したがって、ジオブロックは、異なる関心またはパラメータを有する情報キャンペーンについて異なるスコアを付けることができる。例えば、図34Aは情報キャンペーンのプロットの中心付近の小さな正方形3401によって表されるPOI3401の周りのジオブロックのスコアを示す。より濃い色のジオブロックは、より高い実績スコアを有するジオブロックを表す。図34Bは別の情報キャンペーンに対するPOI 3401の周りの同じジオブロックのスコアを示す。より暗い色のジオブロックは、より高い実績スコアを有するジオブロックを表す。これらの図に示されるように、同じPOIの周りの同じジオブロックの相対スコアは、異なるキャンペーンパラメータまたは目標に対して非常に異なり得る。例えば、ジオブロック3402は図34Aのジオブロック3403よりも比較的高いスコアを有するが、図34Bのジオブロック3403よりも比較的低いスコアを有する。
【００９２】
いくつかの実施形態では、処理3250が標的領域内の識別されたジオブロックを、それらの実績スコアに基づいて順位付けすること(3256)と、最良の実績スコアを有するジオブロックを選択して、キャンペーンのための標的領域を形成すること(3258)とをさらに含む。特定の実施形態では、特定の閾値を超える実績スコアを有するジオブロックが選択される。特定の実施形態では、ブロックレベルの記録推定を使用して、選択処理を案内する。これにより、全記録がキャンペーン予算目的にとって十分であるように、十分なブロックが標的領域に含まれることを確実にすることができる。例えば、ウォルマートキャンペーンが１日$5000の予算を有する場合、選択されたジオブロックは、少なくとも１日$5000の総在庫を有するべきである。多くの場合、１日の在庫供給は、円滑な配送を保証するために予算を十分上回るべきである。
【００９３】
図35は、カリフォルニア州マウンテンビュー(Mountain View, California)(POI)のWalmartストアにつきハイパーローカルキャンペーンのための標的領域を形成するために選択されたジオブロックの例を示す。円3500はキャンペーンの標的領域であり、円の中心付近のピンクで示されるジオブロック3502はPOI3501(すなわち、ウォルマートストア)を含むブロックである。ダークグレーのジオブロック(すなわち、ジオブロック3503、3504、3506、および3507)は、キャンペーン配信のために選択されたトップの実績のジオブロックである。灰色のジオブロック3503、3504、3506、および3507は標的領域3500と実質的に重なり合う(例えば、それぞれの領域の半分を超える)ジオブロックの中から選択され、一緒になって、POIのための動的なジオフェンスまたは標的領域を定義する。ジオブロック3503はジオブロック3503よりも実際にPOI 3501に近い他のジオブロック(例えば、ジオブロック3507、3508、および3509)に対して選択され、したがって、1つまたは複数の選択されていないジオブロックによって、POIおよび1つまたは複数の他の選択されたジオブロックから分離されることに留意されたい。この例ではジオブロック3505を除いて、他の選択されたジオブロックはPOIを含むジオブロック3502に隣接していない。また、この例に示すように、選択されたジオブロックは、POIを含むジオブロック3502さえ含まなくてもよい。したがって、本開示の方法を使用して形成された標的領域は、単にPOIの近傍ではなく、成功の蓋然性に基づいてターゲティングされた領域を選択することによって、特定のキャンペーンの実績を最適化することに一層適合する。
【００９４】
いくつかのさらなる実施形態ではKPIスコア、ならびにSVRスコアおよびSVスコアは1日の異なるタイミングで推定されてもよく、これは各ブロックの品質スコアも時間によって発展することを意味する。これは、朝の時間と夕方の時間とで異なるフェンスを画定することができる、時間変化する動的なフェンス設計につながる。
【００９５】
図36を参照すると、特定の実施形態によれば、地理的領域選択サブシステム2225はジオブロックを基礎としたターゲティングモジュール3610と、リアルタイムペース調整推定モジュール3630と、地理的領域選択モジュール3640と、空間指標構築モジュール3650とを含み、これらは、1つまたは複数のソフトウェアプログラムを実行する1つまたは複数のコンピュータ/サーバシステム220によって提供される。ジオブロックの基礎としたターゲティングモジュール3610はネットワーク210を介して、情報サーバ、例えば、モバイル出版社、広告仲介者、および/または広告交換などによって提示された情報要求を受信し、処理する。各情報要求はモバイル装置に関連し、例えば、モバイル装置(またはそのユーザ)の識別子(UID)、モバイル装置の型/モデル(例えば、iPhone 6S)、モバイル装置上で実行されるオペレーティングシステム(例えば、iOS 10.0.1)、モバイル装置のユーザの属性(例えば、年齢、性別、学歴、収入水準など)、モバイルデータの位置(例えば、都市、州、郵便番号、IPアドレス、緯度/経度、またはLLなど)など、それぞれの情報を伝送するデータユニットを含む装置パケットの形態で、ジオブロックを基礎としたターゲティングモジュール3610に到達する。
要求データはまた、要求タイムスタンプ、要求ID、および他のデータ/情報を含んでもよい。
【００９６】
特定の実施におけるジオブロックを基礎としたターゲティングモジュール3610は図36に示すように、要求データパケットを処理するための方法3600を実行する。方法3600はインターネットなどのネットワークへの接続構造を介して情報要求を受信し(3611)、情報要求内の位置データに基づいてモバイル装置位置を導出し(3613)、モバイル装置位置が1つ以上の所定の場所またはジオフェンスを誘起するかどうかを決定し(3615)、モバイル装置位置が1つ以上の所定の場所またはジオフェンスを誘起する場合に要求を満たし(3617)、処理された要求内の情報を分析のために位置履歴データベース2265に記憶する(3619)ことを含む。
【００９７】
いくつかの実施形態では、モバイル装置位置を導出すること(3613)は、その全体が参照により本明細書に組み込まれる、2015年5月19日に出願された「System and Method for Estimating Mobile Device Locations」という名称の同時係属中の米国特許出願第14/716,816号に記載されているスマートフォン位置システムおよび方法を使用して、要求内の位置情報を処理することを含む。導出されたモバイル装置位置は、要求に関連するモバイル装置が位置することができるジオフェンスを、空間指標データベース2255内で検索するために使用される。広告要求が空間指標データベース2255内のジオフェンスを誘起したことが分かった場合、要求はジオフェンスに対応するタグで注釈付けされる。タグは事業/ブランド名、事業/ブランド名に関連付けられた商品または役務の分類、およびジオフェンスなどを識別することができ、その結果、注釈付き要求が得られる。処理された要求は、データベース2265内の要求ログに記憶される。
【００９８】
特定の実施形態では、要求を満たすことは、予算、ペース調整などの他の要因を考慮に入れて、注釈付き要求を、キャンペーンデータベース2260に格納されている情報キャンペーンの数の一致基準と比較することを含むことができる。ある実施形態では、要求を満たすことはリアルタイム入札を使用する情報サーバシステムに注釈付き要求を提供することを含むことができる。リアルタイム入札(RTB)に基づく典型的な広告提供システムでは、適格な要求が必ずしも満たされるとは限らず、したがって、インプレッションイベントが生じる。例えば、広告キャンペーンがペース調整の予算を使い果たすか、または、同じ要求が2つ以上のキャンペーンに適格であるか、または、ジオブロックを基礎としたターゲティングモジュール3610が入札に勝たないか等であってよい。
【００９９】
ペース調整(pacing)は広告主の投資収益率(ROI)を最適化するために、広告主の予算を時間に対してどのように費やすべきかを決定する制御ロジックである。ペース調整が無ければ、情報サーバシステムができるだけ多くの一致要求を満たそうとし、キャンペーンの初期段階でキャンペーン予算を使い果たす。ペース調整があれば、1つまたは複数の周期(例えば、毎時、毎日、または毎週)の配信目標(予算)が設定される。情報サーバシステム2200はステップ・バイ・ステップの方法を使用して、情報キャンペーンの日次および/または毎時配信目標を満たすように、情報キャンペーンのための一致要求の充足をペース調整する計画を作成する。したがって、キャンペーンに合致する広告要求は、一定の定期的な目標に達していないか、または関連する予算が使い果たされていない場合にのみ満たされる。
【０１００】
したがって、注釈付けされた要求内のデータユニットおよびタグが1つ以上の情報キャンペーンと一致することを決定すると、ジオブロックベースターゲティングモジュール3610または別の情報サーバシステムは、要求を満たすかどうかを決定し、および、ペース調整や、履歴データデータベース2265に記憶された関連するモバイル装置(ユーザ)の行動に関する履歴データ等の要因に基づいて、要求を満たすために、一致する広告キャンペーンのどれを選択するかを決定する。この要求は、選択された情報キャンペーンに関連する文書へのリンクを注釈付き要求に添付し、モバイル装置（例えば、モバイル発行者、広告仲介者、および/または広告交換など）と対話するモバイルサービスプロバイダに、ネットワーク210を介して注釈付き要求を送信することによって実現される。ジオブロックを基礎としたターゲティングモジュール3610はまた、1つまたは複数の情報キャンペーンに関連付けられた文書が、関連するモバイルに配信された(またはインプレッションされた)かどうかを示すフィードバックを監視し、そのフィードバックをリアルタイムペース調整推定モジュール3630に提供する。フィードバックはまた、データベース2470のインプレッションログに記憶されてもよい。
【０１０１】
情報キャンペーンの始めに、地理的領域またはジオブロックの最初の組が、地理的領域スコアリングサブシステム2220によって提供される。キャンペーンがリアルタイムで進行するにつれて、リアルタイムペース調整推定モジュール3630は、ジオブロックを基礎としたターゲティングモジュール3610によって提供されるフィードバックに基づいて、キャンペーンのペース調整状況を定期的に推定する。地理的領域選択モジュール3640はリアルタイムペース調整推定モジュール3630によって提供されるペース調整状況を、キャンペーンのための所定のペース調整目標と比較し、それに応じて、標的領域に含まれる地理的領域の個数を増加/低減させる。リアルタイムペース調整推定部3630は例えば、ジオフェンスが更新される速度と、ジオフェンスに含まれ得る地理的領域の最小数/最大数とによって、標的領域のダイナミクスを制御する。したがって、リアルタイムペース調整推定モジュール3630は、実績とペース調整との間のバランス、ならびにそれらの最小/最大到達可能値を制御する。
【０１０２】
これにより、情報サーバシステム2200はモバイルユーザに関する情報要求を受信して処理し、モバイルユーザが特定の情報サービスを受信する潜在的な候補であるか否かを判定する。同時に、地理的領域選択サブシステム2225はある情報キャンペーンに関連する情報が移動ユーザに提供されている速度(すなわち、ペース調整状況)を追跡し、それに応じて、情報キャンペーンに関連する標的領域に含まれるジオブロックの数を調整して、実績とペース調整との間のバランスを得るようにする。
【０１０３】
図37A〜37Cは、特定の実施形態によるこの動的調整処理を示す。図37A〜37Cは、プロットの中心付近の小さな正方形3701によって表される関心点3701の周りのジオブロックのプロットである。より暗い陰影を付けられたジオブロックは、特定の時間インスタンスにおける情報キャンペーンに関連付けられた標的領域に含まれるものである。その時点で、これらのより暗い陰影領域内に位置するモバイル装置ユーザは、情報サービスを受信するための潜在的な候補である。図37Aに示すように、第1の期間内のより早い時間インスタンスでは第1の閾値を超える実績スコアを有するジオブロックのみが、標的領域に含まれる。図37Aから図37Cまでは、ペース調整目標に到達していないことを示すペース調整状況に応答して、情報キャンペーンのペース調整目標を満たすために、徐々に多くのジオブロックが標的領域の一部として含まれる。例えば、図37Aに示されるように、標的領域に元々含まれていなかったジオブロック3702が、標的領域に追加される。図37Bでは、第1の閾値よりも低い第2の閾値よりも高い実績スコアを有するジオブロックが標的領域に含まれる。その後、図37Cにおいて、ペース調整目標を満たすためにより多くの要求が必要であると判定されると、第2の閾値よりも低く第3の閾値よりも高い実績スコアを有するジオブロックが標的領域に含まれる。例えば、図37Aまたは図37Bに示されるように、最初は標的領域に含まれていなかったジオブロック3703がここに含まれる。したがって、ペース調整目標より遅れている情報キャンペーンにつきジオブロックの数を増加させることによって、またはペース調整目標を超えている情報キャンペーンについてのジオブロックの数を減少させることによって、キャンペーンは、実績とペース調整との間のバランスを得るように最適化され得る。
【０１０４】
本開示のいくつかの態様は、コンピュータの機能性を直接的に改善する。例えば、本開示の実施形態は未加工の位置データをジオフェンスおよびジオフロックに関する位置イベントに変換することによって、また、機械学習処理のために時及び空間にわたって位置イベントをフィルタリングおよび集約することによって、より小さい記憶部および処理要件で、一層高速なブロック類似予測を達成する。さらなる実施形態では関連性測定値がモバイル装置信号を使用してジオブロックについて計算される。関連性測定値は、適切な規模低減およびデータクラスタ化のために、ジオブロックをジオブロック区分に割り当てるために使用され、その結果、コンピュータリソースの効率的な使用および改善された位置予測実績をもたらす。
【図１】
2020537252.tif 000003
【図２】
2020537252.tif 000004
【図３】
2020537252.tif 000005
【図４】
2020537252.tif 000006
【図５】
2020537252.tif 000007
【図６】
2020537252.tif 000008
【図７】
2020537252.tif 000009
【図８】
2020537252.tif 000010
【図９】
2020537252.tif 000011
【図１０】
2020537252.tif 000012
【図１１】
2020537252.tif 000013
【図１２】
2020537252.tif 000014
【図１３】
2020537252.tif 000015
【図１４】
2020537252.tif 000016
【図１５】
2020537252.tif 000017
【図１６】
2020537252.tif 000018
【図１７】
2020537252.tif 000019
【図１８】
2020537252.tif 000020
【図１９】
2020537252.tif 000021
【図２０】
2020537252.tif 000022
【図２１】
2020537252.tif 000023
【図２２】
2020537252.tif 000024
【図２３】
2020537252.tif 000025
【図２４】
2020537252.tif 000026
【図２５】
2020537252.tif 000027
【図２６】
2020537252.tif 000028
【図２７】
2020537252.tif 000029
【図２８】
2020537252.tif 000030
【図２９】
2020537252.tif 000031
【図３０】
2020537252.tif 000032
【図３１】
2020537252.tif 000033
【図３２】
2020537252.tif 000034
【図３３】
2020537252.tif 000035
【図３４Ａ】
2020537252.tif 000036
【図３４Ｂ】
2020537252.tif 000037
【図３５】
2020537252.tif 000038
【図３６】
2020537252.tif 000039
【図３７Ａ】
2020537252.tif 000040
【図３７Ｂ】
2020537252.tif 000041
【図３７Ｃ】
2020537252.tif 000042
【手続補正書】
【提出日】令和2年6月10日(2020.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
類似モバイル装置を予想する方法において、
パケットを基礎としたネットワークに接続された１以上のコンピュータシステムであって、前記１以上のコンピュータシステムは、複数のモバイル装置に関連付けられたロギングされた要求データを格納した記憶部を含み、又は、前記記憶部へのアクセスを有し、前記ロギングされた要求データは、所定の時期に前記複数のモバイル装置によって誘起された位置イベントを示すデータを含み、各位置イベントは所定の地理的場所に関連する、コンピュータシステムにて、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記複数のモバイル装置から訓練モバイル装置を選択することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記訓練モバイル装置の各々につき、それぞれの訓練特徴セットを構築することであって、前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置に関連付けられた位置イベントから導出された位置特徴と非位置特徴とを含む、ことと、
前記１以上のコンピュータシステムの前記１以上のプロセッサによって、前記訓練モバイル装置のうち各特定のモバイル装置についてのラベルを、前記特定のモバイル装置がモバイル装置のシードリストに含まれるか否かに少なくとも基づいて、判定することと、
機械学習プログラムを実行する前記１以上のコンピュータシステムのプロセッサによって、訓練特徴セットと前記訓練モバイル装置についてのラベルとを用いて、予測モデルを訓練することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、前記複数のモバイル装置のうち１以上のモバイル装置につき１以上の予測特徴セットを構築することであって、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうち対応する１つに関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含む、ことと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを、前記１以上のモバイル装置についての前記１以上の予測特徴セットに適用して、１以上の予測結果を取得することであって、前記１以上の予測結果は、前記１以上のモバイル装置の各々が、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、ことと、
を実行する方法。
【請求項２】
請求項１に記載の方法において、
前記所定の地理的場所は、公道又は自然境界によって定義される少なくとも１つの境界を有する地理的領域に対応するブランド又はジオブロックに関連するジオフェンスである、方法。
【請求項３】
請求項２に記載の方法において、
前記ジオブロックは複数のジオブロックのうちの１つであり、
前記方法は、モバイル装置の前記シードリストに関して、前記複数のジオブロックの各々についての関連性測定値を判定することと、前記複数のジオブロックを、それぞれが関連性測定値の別の範囲に対応する複数のジオブロック区分に分割することとをさらに含み、
前記それぞれの訓練特徴セットは、前記複数のジオブロック区分にそれぞれ対応する複数の訓練特徴を含み、前記１以上の予測特徴セットの各々は、前記複数のジオブロック区分にそれぞれ対応する複数の予測特徴を含む、方法。
【請求項４】
請求項３に記載の方法において、
前記それぞれのモバイル装置について、１以上の最も頻繁に訪問されたジオブロックを判定することであって、前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置につき、前記１以上の最も頻繁に訪問されたジオブロックに関連する１以上の訓練特徴を含む、ことと、
前記１以上のモバイル装置の各々につき、１以上の最も頻繁に訪問されたジオブロックを判定することであって、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうちの対応する１つにつき、前記１以上の最も頻繁に訪問されたジオブロックに関連する１以上の予測特徴をさらに含む、ことと、
を含む方法。
【請求項５】
請求項３に記載の方法において、
前記複数のジオブロックの中から１以上の小売ジオブロックを識別することをさらに含み、前記それぞれの訓練特徴セットは、前記１以上の小売ジオブロックにそれぞれ対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、前記１以上の小売ジオブロックにそれぞれ対応する予測特徴をさらに含む、方法。
【請求項６】
請求項３に記載の方法において、
前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置が第１の時期において位置する複数の別のジオブロックに対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうちの対応する１つが第２の時期において位置する複数の別のジオブロックに対応する予測特徴をさらに含む、方法。
【請求項７】
請求項６に記載の方法において、
前記それぞれの訓練特徴セットは、前記第１の時期において前記複数のジオブロックのうちの１以上へ前記それぞれのモバイル装置のユーザによって行われた訪問回数に対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、第２の時期において前記複数のジオブロックのうちの１以上へ前記１以上のモバイル装置のうち対応する１つのユーザによって行われた訪問回数に対応する予測特徴をさらに含む、方法。
【請求項８】
請求項２に記載の方法において、
前記ジオフェンスは複数のブランドに関連付けられた複数のジオフェンスのうちの１つであり、前記それぞれの訓練特徴セットは、前記複数のブランドにそれぞれ対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、前記複数のブランドにそれぞれ対応する予測特徴をさらに含む、方法。
【請求項９】
請求項８に記載の方法において、
前記それぞれの訓練特徴セットは、第１の時期において前記それぞれのモバイル装置によって誘起された関連するジオフェンスを有する複数の別のブランドに対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、第２の時期において前記１以上のモバイル装置のうちの対応する１つによって誘起された関連するジオフェンスを有する複数の別のブランドに対応する予測特徴をさらに含む、方法。
【請求項１０】
請求項１に記載の方法において、
前記１以上のコンピュータシステムはフィードバックログをさらに含み、または前記フィードバックログへのアクセスを有し、
前記フィードバックログはインプレッションエントリを含み、前記インプレッションエントリの各々は関連付けられたモバイル装置の識別子と、インプレッションされた文書の識別子と、タイムスタンプとを含み、前記それぞれの訓練特徴セットは、第１の時期においてモバイル装置の前記シードリストに関連付けられた１以上の文書のいずれかにより前記それぞれのモバイル装置がインプレッションされた回数に対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、第２の時期においてモバイル装置の前記シードリストに関連付けられた１以上の文書のいずれかにより前記１以上のモバイル装置のうち対応する１つがインプレッションされた回数に対応する予測特徴をさらに含む、方法。
【請求項１１】
請求項１０に記載の方法において、
前記フィードバックログは、クリック／コールエントリと、二次動作エントリとをさらに含み、前記クリック／コールエントリの各々は、関連付けられたモバイル装置の識別子と、インプレッションされた文書の識別子と、タイムスタンプとを含み、前記それぞれの訓練特徴セットは、第１の時期において前記それぞれのモバイル装置上でインプレッションされた文書に対してクリック／コールが行われた回数に対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、第２の時期において前記１以上のモバイル装置のうち対応する１つにてインプレッションされた文書に対してクリック／コールが行われた回数に対応する予測特徴をさらに含む、方法。
【請求項１２】
請求項１１に記載の方法において、
前記フィードバックログは二次動作エントリをさらに含み、前記二次動作エントリの各々は、関連付けられたモバイル装置の識別子、インプレッションされた文書の識別子、およびタイムスタンプを含み、前記それぞれの訓練特徴セットは、第１の時期において前記それぞれのモバイル装置上で二次動作が行われた回数に対応する訓練特徴をさらに含み、前記１以上の予測特徴セットの各々は、第２の時期において前記１以上のモバイル装置のうち対応する１つにて二次動作が行われた回数に対応する予測特徴をさらに含む、方法。
【請求項１３】
請求項１に記載の方法において、
前記１以上のコンピュータシステムの1つ以上のプロセッサによって、前記複数のモバイル装置から、評価モバイル装置を選択することと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、それぞれの評価モバイル装置につき、それぞれの評価特徴セットを構築することであって、前記それぞれの評価特徴セットは、前記それぞれの評価モバイル装置に関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含む、ことと、
前記１以上のコンピュータシステムの１以上のプロセッサによって、それぞれの特定の評価モバイル装置のラベルを、前記特定の評価モバイル装置がモバイル装置の前記シードリストに含まれるか否かに少なくとも基づいて、抽出することと、
前記１以上のコンピュータシステムのプロセッサによって、前記予測モデルを、前記評価モバイル装置の前記評価特徴セットに適用して、評価予測結果を取得することであって、前記評価予測結果は、前記評価モバイル装置のそれぞれがモバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、ことと、
前記評価予測結果を前記評価モバイル装置の前記ラベルと比較することによって、前記予測モデルの精度測定値を判定することと、
をさらに含む方法。
【請求項１４】
請求項１３に記載の方法において、訓練モバイル装置を選択することは、
前記複数のモバイル装置からモバイル装置を選択して、モバイル装置のサンプル空間を形成することであって、モバイル装置の前記サンプル空間内の各モバイル装置は、モバイル装置の前記シードリストに関連付けられた類似発見明細を満たす、ことと、
前記サンプル空間を形成する前記モバイル装置の一部と、モバイル装置の前記シードリストの一部とをランダムに選択して、選択されたモバイル装置のグループを形成することと、を含み、
前記訓練モバイル装置は、選択されたモバイル装置の前記グループの第１のサブグループを含み、前記評価モバイル装置は、選択されたモバイル装置の第２のサブグループを含む、方法。
【請求項１５】
請求項１に記載の方法において、訓練モバイル装置を選択することは、
前記複数のモバイル装置からモバイル装置を選択して、モバイル装置のサンプル空間を形成することであって、前記サンプル空間内の各モバイル装置は、モバイル装置の前記シードリストに関連付けられた類似発見明細を満たす、ことと、
モバイル装置の前記サンプル空間の一部と、モバイル装置の前記シードリストの一部とをランダムに選択して、選択されたモバイル装置のグループを形成することと、
を含み、
前記訓練モバイル装置は、選択されたモバイル装置の前記グループの少なくとも一部を含む、方法。
【請求項１６】
請求項１５に記載の方法において、
前記１以上のモバイル装置が、モバイル装置の前記サンプル空間の少なくともいくつかを含む、方法。
【請求項１７】
請求項１に記載の方法において、
前記１以上の予測結果に基づいて、前記１以上のモバイル装置を順位付けすることをさらに含む、方法。
【請求項１８】
請求項１７に記載の方法において、
前記パケットを基礎としたネットワークへ類似モバイル装置のリストを送信することであって、類似モバイル装置の前記リストは、前記１以上の予測結果に基づいて、前記１以上のモバイル装置から選択される、ことを更に含む方法。
【請求項１９】
請求項１に記載の方法において、
モバイル装置の前記シードリストは重み付けされ、前記特定のモバイル装置の前記ラベルは、前記特定のモバイル装置が前記モバイル装置の前記シードリストに含まれる場合、前記特定のモバイル装置の重みに基づいてさらに判定される、方法。
【請求項２０】
パケットを基礎としたネットワークに接続されたシステムであって、
複数のモバイル装置に関連付けられたロギングされた要求データを格納した記憶部であって、前記ロギングされた要求データは、所定の時期に前記複数のモバイル装置によって誘起された位置イベントを示すデータを含み、各位置イベントは所定の地理的場所に関連する、記憶部と、
前記複数のモバイル装置から訓練モバイル装置を選択するよう構成されたデータマネージャと、
特徴生成部であって、
前記訓練モバイル装置のそれぞれのモバイル装置につき、それぞれの訓練特徴セットを構築することであって、前記それぞれの訓練特徴セットは、前記それぞれのモバイル装置に関連付けられた位置イベントから導出された位置特徴と非位置特徴とを含む、ことと、
前記訓練モバイル装置のうち各特定のモバイル装置についてのラベルを、前記特定のモバイル装置がモバイル装置のシードリストに含まれるか否かに少なくとも基づいて、判定することと、
前記複数のモバイル装置のうち１以上のモバイル装置につき１以上の予測特徴セットを構築することであって、前記１以上の予測特徴セットの各々は、前記１以上のモバイル装置のうち対応する１つに関連付けられた位置イベントから導出された位置特徴と、非位置特徴とを含む、ことと、
を実行するよう構成された特徴生成部と、
訓練特徴セットと前記訓練モバイル装置のラベルとを用いて予測モデルを訓練するよう構成された機械学習モジュールと、
前記予測モデルを、前記１以上のモバイル装置についての前記１以上の予測特徴セットに適用して、１以上の予測結果を取得するよう構成された予測モジュールであって、前記１以上の予測結果は、前記１以上のモバイル装置の各々が、モバイル装置の前記シードリストに関して類似モバイル装置である蓋然性を含む、予測モジュールと、
を含むシステム。
【国際調査報告】
2020537252.tif 000043