(57)【要約】【課題】ユーザにより訪問される施設のカテゴリの予測モデルを生成する方法、プログラム、サーバ装置、及び処理装置が提供される。【解決手段】方法は、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、第１及び第２のコンテンツ特徴を集合化し、集合化された第１及び第２のコンテンツ特徴に基づいて複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度と定期性の少なくとも１つをニューラルネットワークを利用して推定し、複数のデジタル投稿に関連する訪問の推定された頻度及び定期性に基づいて頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定することを含む。【選択図】図１
2018077821.tif 000002
【特許請求の範囲】
【請求項１】
計算処理デバイスにより実行される、ユーザによって訪問される施設のカテゴリの予測モデルを生成する方法であって、
複数のデジタル投稿から選択された、オンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、
前記複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを集合化し、
前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて、前記複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、
前記複数のデジタル投稿に関連する訪問の前記推定された頻度及び定期性に基づいて、頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、
方法。
【請求項２】
前記判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む、請求項１に記載の方法。
【請求項３】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む、請求項１に記載の方法。
【請求項４】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む、請求項１に記載の方法。
【請求項５】
複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、
前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、
前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、
前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、
ことによって前記ニューラルネットワークを訓練することをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することが、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む、請求項１に記載の方法。
【請求項６】
前記抽出されたメタデータは、各デジタル投稿に関連する、全地球測位システム（ＧＰＳ）データ、位置情報タグデータ、及びチェックインデータのうちの一つ又は複数を含む、請求項５に記載の方法。
【請求項７】
前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することとを含む、請求項１に記載の方法。
【請求項８】
ユーザによって訪問される施設のカテゴリの予測モデルを生成する方法をコンピュータに実行させるためのプログラムであって、前記方法は、
複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、
前記複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを集合化し、
前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて、前記複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、
前記複数のデジタル投稿に関連する訪問の前記推定された頻度及び定期性に基づいて、頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、
ことを含む、プログラム。
【請求項９】
前記方法は、前記判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む、請求項８に記載のプログラム。
【請求項１０】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む、請求項８に記載のプログラム。
【請求項１１】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む、請求項８に記載のプログラム。
【請求項１２】
前記方法は、複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、
前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、
前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、
前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、
ことによって前記ニューラルネットワークを訓練することをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む、請求項８に記載のプログラム。
【請求項１３】
前記抽出されたメタデータは、各デジタル投稿に関連する、全地球測位システム（ＧＰＳ）データ、位置情報タグデータ、及びチェックインデータのうちの一つ又は複数を含む、請求項１２に記載のプログラム。
【請求項１４】
前記方法は、前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することと、を含む、請求項８に記載のプログラム。
【請求項１５】
第１のユーザに関連する複数のデジタル投稿を含む、オンラインソーシャルメディアプラットフォームに投稿されたデジタルコンテンツを格納するメモリと、
プロセスを実行するプロセッサと、
を備えるサーバ装置であって、
前記プロセスは、
複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、
前記複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを集合化し、
前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて、前記複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、
前記複数のデジタル投稿に関連する訪問の前記推定された頻度及び定期性に基づいて、頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、
ことを含む、サーバ装置。
【請求項１６】
前記プロセスは、前記判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む、請求項１５に記載のサーバ装置。
【請求項１７】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む、請求項１５に記載のサーバ装置。
【請求項１８】
前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、
前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む、請求項１５に記載のサーバ装置。
【請求項１９】
前記プロセスは、
複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、
前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、
前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、
前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、
ことによって前記ニューラルネットワークを訓練することをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む、請求項１５に記載のサーバ装置。
【請求項２０】
前記プロセスは、前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、
前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することと、を含む、請求項１５に記載のサーバ装置。
【請求項２１】
複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出する第１の抽出部と、
前記複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出する第２の抽出部と、
前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを集合化する集合化部と、
前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて、前記複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定する推定部と、
前記複数のデジタル投稿に関連する訪問の前記推定された頻度及び定期性に基づいて、頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する判定部と、
からなることを特徴とする処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はオンラインソーシャルメディアネットワークに関し、より具体的には、オンラインソーシャルメディアネットワークを利用した、ユーザによって訪問される施設のカテゴリの予測モデルを生成する方法、プログラム、サーバ装置、及び処理装置に関する。
【背景技術】
【０００２】
関連技術の顧客管理システムにおいて、ユーザの訪問行動はマーケティングにとって重要な情報であり得る。ユーザ訪問行動は、顧客調査（例えば訪問後のフィードバックシートへの記入）を利用して判定される事がある。このような関連技術システムでは、頻度（例えば特定の期間内におけるビジネス施設への顧客訪問の発生回数）と定期性（例えば、施設訪問の時間間隔）が、顧客調査で検討される最もよくある関心項目の２つである。調査情報を利用してビジネス管理者は、顧客の訪問行動の理解、よりよいサービスの提供、ユーザニーズへのよりよい対応を図る。さらにこの訪問行動情報に基づいて、ビジネス管理者は、顧客が最も頻繁に訪問するビジネスに関連するクーポンを送付したり、定期的に訪問するユーザに対して定期的なディスカウントを提供することもある。
【０００３】
ただし、調査に回答するのが一部のユーザであったり、また回答に際して必ずしも正直ではなかったりするために、調査データは信頼できない可能性がある。この問題に対処するために、いくつかの関連技術システムでは、ソーシャルメディアのチェックイン情報を調査してユーザの訪問行動を判定する。ただし、ユーザのチェックインデータには制限があって、必ずしも常に入手できるわけではない（例えば、チェックインデータに関するユーザ設定のため、又はユーザがソーシャルメディアプラットフォーム上で利用可能なチェックイン機能を使用しない場合もあるため）。その結果、チェックイン情報のみを利用するシステムでは一般化能力が低下してしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１６／０１１０３８１号明細書
【非特許文献】
【０００５】
【非特許文献１】ＢＡＯ，  Ｊ．，  ｅｔ  ａｌ．，  「ＬＯＣＡＴＩＯＮ−ＢＡＳＥＤ  ＡＮＤ  ＰＲＥＦＥＲＥＮＣＥ−ＡＷＡＲＥ  ＲＥＣＯＧＮＩＴＩＯＮ  ＵＳＩＮＧ  ＳＰＡＲＳＥ  ＧＥＯ−ＳＯＣＩＡＬ  ＮＥＴＷＯＲＫＩＮＧ  ＤＡＴＡ」、ＡＣＭ  ＳＩＧＳＰＡＴＩＡＬ  ＧＩＳ  ２０１２、２０１２年１１月６日〜９日、全１０頁
【非特許文献２】ＣＨＥＮ，  Ｂ−Ｃ，  ｅｔ  ａｌ．，  「ＢＵＳＩＮＥＳＳ−ＡＷＡＲＥ  ＶＩＳＵＡＬ  ＣＯＮＣＥＰＴ  ＤＩＳＣＯＶＥＲＹ  ＦＲＯＭ  ＳＯＣＩＡＬ  ＭＥＤＩＡ  ＦＯＲ  ＭＵＬＴＩＭＯＤＡＬ  ＢＵＳＩＮＥＳＳ  ＶＥＮＵＥ  ＲＥＣＯＧＮＩＴＩＯＮ」、ＡＡＡＩ、２０１６年２月１２日、全７頁
【非特許文献３】ＷＥＹＡＮＤ，  Ｔ．，  ｅｔ  ａｌ．，  「ＰＬＡＮＥＴ−ＰＨＯＴＯ  ＧＥＯＬＯＣＡＴＩＯＮ  ＷＩＴＨ  ＣＯＮＶＯＬＵＴＩＯＮＡＬ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫＳ」  ＣＯＭＰＵＴＥＲ  ＶＩＳＩＯＮ−ＥＣＣＶ２０１６、２０１６年９月１７日、９９１２  ＯＦ  ＴＨＥ  ＳＥＲＩＥＳ  ＬＥＣＴＵＲＥ  ＮＯＴＥＳ  ＩＮ  ＣＯＭＰＵＴＥＲ  ＳＣＩＥＮＣＥ、ｐ．３７−５５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、ユーザが投稿したソーシャルメディアコンテンツ（例えば、画像投稿、映像投稿、テキスト投稿、及び／又は音声投稿）に基づいて、ユーザの訪問可能性パターンを推定することを可能とする。
【課題を解決するための手段】
【０００７】
本発明の第一の態様は、ユーザにより訪問される施設カテゴリの予測モデルを生成する方法である。この方法は、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、第１のコンテンツ特徴と第２のコンテンツ特徴とを集合化し、集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、複数のデジタル投稿に関連する訪問の推定された頻度及び定期性に基づいて頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、ことを含む。
【０００８】
本発明の第二の態様は、第一の態様の方法であって、判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む。
【０００９】
本発明の第三の態様は、第一の態様の方法であって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む。
【００１０】
本発明の第四の態様は、第一の態様の方法であって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む。
【００１１】
本発明の第五の態様は、第一の態様の方法であって、複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、ことによって前記ニューラルネットワークを訓練することをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することが、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む。
【００１２】
本発明の第六の態様は、第五の態様の方法であって、前記抽出されたメタデータは、各デジタル投稿に関連する、全地球測位システム（ＧＰＳ）データ、位置情報タグデータ、及びチェックインデータのうちの一つ又は複数を含む。
【００１３】
本発明の第七の態様は、第一の態様の方法であって、前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することとを含む。
【００１４】
本発明の第八の態様は、ユーザにより訪問される施設のカテゴリの予測モデルを生成する方法をコンピュータに実行させるためのプログラムである。この方法は、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、第１のコンテンツ特徴と第２のコンテンツ特徴とを集合化し、集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、複数のデジタル投稿に関連する訪問の推定された頻度及び定期性に基づいて頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、ことを含む。
【００１５】
本発明の第九の態様は、第八の態様のプログラムであって、前記方法は、前記判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む。
【００１６】
本発明の第十の態様は、第八の態様のプログラムであって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む。
【００１７】
本発明の第十一の態様は、第八の態様のプログラムであって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む。
【００１８】
本発明の第十二の態様は、第八の態様のプログラムであって、前記方法は、複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、ことによって前記ニューラルネットワークを訓練することをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む。
【００１９】
本発明の第十三の態様は、第十二の態様のプログラムであって、前記抽出されたメタデータは、各デジタル投稿に関連する、全地球測位システム（ＧＰＳ）データ、位置情報タグデータ、及びチェックインデータのうちの一つ又は複数を含む。
【００２０】
本発明の第十四の態様は、第八の態様のプログラムであって、前記方法は、前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することと、を含む。
【００２１】
本発明の第十五の態様は、サーバ装置である。サーバ装置は、第１のユーザに関連する複数のデジタル投稿を含む、オンラインソーシャルメディアプラットフォームに投稿されたデジタルコンテンツを格納するメモリと、プロセスを実行するプロセッサとを含んでよい。このプロセスは、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出し、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出し、第１のコンテンツ特徴と第２のコンテンツ特徴とを集合化し、集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定し、複数のデジタル投稿に関連する訪問の推定された頻度及び定期性に基づいて頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する、ことを含む。
【００２２】
本発明の第十六の態様は、第十五の態様のサーバ装置であって、前記プロセスは、前記判定された頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの１つに基づいて、デジタル通信を自動生成し、前記オンラインソーシャルメディアプラットフォームへの前記複数のデジタル投稿に関連する第１のユーザへ前記デジタル通信を送信することをさらに含む。
【００２３】
本発明の第十七の態様は、第十五の態様のサーバ装置であって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との少なくとも１つを抽出することを含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との少なくとも１つを抽出することを含む。
【００２４】
本発明の第十八の態様は、第十五の態様のサーバ装置であって、前記第１のデジタル投稿から前記第１のコンテンツ特徴を抽出することが、前記第１のデジタル投稿から第１の視覚コンテンツ特徴と第１のテキストコンテンツ特徴との両方を抽出することと、前記第１の視覚コンテンツ特徴と前記第１のテキストコンテンツ特徴とを統合して第１の統合コンテンツ特徴を生成することと、を含み、前記第２のデジタル投稿から前記第２のコンテンツ特徴を抽出することが、前記第２のデジタル投稿から第２の視覚コンテンツ特徴と第２のテキストコンテンツ特徴との両方を抽出することと、前記第２の視覚コンテンツ特徴と前記第２のテキストコンテンツ特徴とを統合して第２の統合コンテンツ特徴を生成することと、を含み、前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを一緒に集合化することが、前記第１の統合コンテンツ特徴と前記第２の統合コンテンツ特徴とを集合化することを含む。
【００２５】
本発明の第十九の態様は、第十五の態様のサーバ装置であって、前記プロセスは、複数のユーザに関連するオンラインメディアプラットフォームへの複数のデジタル投稿のそれぞれからコンテンツ特徴を抽出し、前記複数のデジタル投稿のそれぞれに関連するメタデータを抽出し、前記抽出されたメタデータに基づいて各デジタル投稿に関連する施設カテゴリを判定し、前記判定された施設カテゴリと前記抽出されたコンテンツ特徴との間の関連に基づいて、予測因子モデルの一つ又は複数のパラメータを最適化する、ことによって前記ニューラルネットワークを訓練することをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記最適化された予測因子モデルを用いて前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて施設カテゴリを推定することを含む。
【００２６】
本発明の第二十の態様は、第十五の態様のサーバ装置であって、前記プロセスは、前記複数のデジタル投稿を、各デジタル投稿に関連する時間データに基づいて第１のデジタル投稿群と第２のデジタル投稿群とにソートすることをさらに含み、前記施設カテゴリへの訪問の頻度及び定期性の少なくとも１つを推定することは、前記第１のデジタル投稿群に関連する施設カテゴリへの訪問の、第１の頻度及び定期性の少なくとも１つを推定することと、前記第２のデジタル投稿群に関連する施設カテゴリへの訪問の、第２の頻度及び定期性の少なくとも１つを推定することと、を含む。
【００２７】
本発明の第二十一の態様は、複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第１のデジタル投稿から第１のコンテンツ特徴を抽出する第１の抽出部と、前記複数のデジタル投稿から選択されたオンラインソーシャルメディアプラットフォームへの第２のデジタル投稿から第２のコンテンツ特徴を抽出する第２の抽出部と、前記第１のコンテンツ特徴と前記第２のコンテンツ特徴とを集合化する集合化部と、前記集合化された第１のコンテンツ特徴及び第２のコンテンツ特徴に基づいて、前記複数のデジタル投稿に関連する施設カテゴリへの訪問の頻度及び定期性の少なくとも１つをニューラルネットワークを利用して推定する推定部と、前記複数のデジタル投稿に関連する訪問の前記推定された頻度及び定期性に基づいて、頻繁に訪問される施設カテゴリ及び定期的に訪問される施設カテゴリの少なくとも１つを判定する判定部と、からなることを特徴とする処理装置である。
【発明の効果】
【００２８】
本発明によれば、ユーザが投稿したコンテンツ（例えば、画像投稿、映像投稿、テキスト投稿、及び／又は音声投稿）に基づいて、ユーザの訪問可能性パターンを推定することが可能である。
【図面の簡単な説明】
【００２９】
【図１】実装例に関連するユーザ訪問行動分析システムの入力と出力の概念図である。
【図２】実装例による行動分析システムによって実行される、施設カテゴリへの訪問予測モデル生成プロセスのフローチャートである。
【図３Ａ】実装例による行動分析システムによって実行される、施設カテゴリへの訪問の予測モデル生成の別のプロセスのフローチャートの前半部分である。
【図３Ｂ】実装例による行動分析システムによって実行される、施設カテゴリへの訪問の予測モデル生成の別のプロセスのフローチャートの後半部分である。
【図４】実装例に使用可能な、ラベル生成の訓練プロセスとニューラルネットワーク訓練のフローチャートである。
【図５】ベースラインの２段階フレームワーク比較例のフロー図である。
【図６】実装例による１段階集合化システムのフロー図である。
【図７】いくつかの実装例に好適な環境例の図である。
【図８】いくつかの実装例での使用に好適な例示的計算処理デバイスを有する、コンピューティング環境例を示す図である。
【発明を実施するための形態】
【００３０】
以下の詳細な説明において、本出願の図面及び実装例の更なる詳細を提供する。図面間で重複する要素の参照番号及び説明は、分かりやすくするために省略されている。明細書全体を通して使用する用語は例示として提供されるものであり、限定を意図するものではない。例えば、「自動的」という用語の使用は、本出願の実装を実行する当業者の所望の実装に応じて、完全自動の実装、又は実装の特定の態様をユーザ又はオペレータが制御することを含む半自動の実装、を含み得る。
【００３１】
モバイル通信デバイスへのアクセス可用性の増大に伴ってソーシャルメディアの利用の仕方が変化して、より多くのユーザがモバイルデバイスを介してソーシャルメディアプラットフォームへアクセスするようになってきた。ユーザは旅行や訪問するロケーション及び施設をソーシャルメディア上で共有するので、ソーシャルメディア投稿はユーザの施設訪問行動の学習源となり得る。ユーザが提供するソーシャルメディアコンテンツの利用により、ユーザの訪問行動（例えばユーザが特定の施設カテゴリを訪問する頻度や定期性）の分析及び予測を実装例が可能とし得る。例えば、実装には、ロケーションのチェックインデータの代わりまたはそれに加えて、一般的に入手可能なユーザ提供コンテンツ（例えば、画像投稿、映像投稿、テキスト投稿、及び／又は音声投稿）に依存するシステムを含むことができる。一実装例では、ユーザ提供コンテンツに基づいて、投稿されたコンテンツに関連するユーザの訪問可能性パターンを推定可能である。前述したように、ユーザチェックインデータは他のユーザ提供コンテンツ（例えば、画像投稿、映像投稿、テキスト投稿、及び／又は音声投稿）程には利用できない。それは、チェックインデータはユーザがそれほど普通には使用しないし、多くのソーシャルメディアユーザによってより厳しく管理されるからである。したがって、画像投稿、映像投稿、テキスト投稿、及び／又は音声投稿がチェックインデータよりもより多く利用可能であり、本願発明の実装例はより広範なユーザをカバー可能である。
【００３２】
オンラインソーシャルメディア投稿から得られる推定訪問可能性パターンは、顧客の施設カテゴリ訪問行動の理解を助け、より的を絞ってオンラインの顧客に狙いを定める助けとなるので、ビジネス管理者にとって有用となり得る。例えば、ビジネス管理者は、ビジネスロケーション又は実世界の店舗を頻繁に訪問する顧客に対して、ソーシャルメディアネットワークを介して、又は直接のデジタル通信によって、そのビジネスに関連するクーポンを送って、ロケーション又は店舗を定期的に訪問するユーザに対する定期的なデジタルディスカウントを提供することもできるし、類似の施設ロケーション又は店舗（例えば同一施設カテゴリ内の、競合者などの他のビジネスロケーション）を訪問するユーザにオンラインで的を絞った情報を提供することもできる。
【００３３】
図１は、実装例に関連するユーザ訪問行動分析システムの入力１０５と出力１１０の概念図１００である。入力１０５は、ユーザ（ユーザＡ）のオンラインソーシャルメディアプラットフォームへのソーシャルメディア投稿１１５ａ〜１１５ｏ（例えばデジタル投稿）のシーケンスを含んでいる。図１では、複数のソーシャルメディア投稿１１５ａ〜１１５ｏが画像投稿として示されている。ただし、実装例はこの構成に限定されるものではなく、ソーシャルメディア投稿はテキスト投稿、映像投稿、音声投稿、又は当業者に明らかなその他の任意の投稿であってもよい。さらには、ソーシャルメディアプラットフォームは特定の限定されたものではなく、当業者に明らかな任意のソーシャルメディアプラットフォームであってよい。例えば、ソーシャルメディアプラットフォームは、ソーシャルネットワークプラットフォーム、プロフェッショナルネットワークプラットフォーム、メディア共有プラットフォーム、ミニブログプラットフォーム、又は当業者に明らかなその他の任意のソーシャルメディアプラットフォームであってよい。
【００３４】
一実装例において、ソーシャルメディア投稿１１５ａ〜１１５ｏのコンテンツがこの後詳細を議論するように分析される。分析されたコンテンツに基づいて、ユーザＡが定期的及び／又は頻繁に訪問しそうな施設カテゴリ１２０〜１３５が、ユーザ訪問行動分析システムによって推定される。例えば、投稿１１５ａ〜１１５ｄ、１１５ｆ、１１５ｋ、１１５ｍ、及び１１５ｎを利用して、ユーザＡは施設カテゴリ１２０の場所（例えば日本食レストラン）を定期的及び／又は頻繁に訪問することが推定され得る。さらに、投稿１１５ｊ、１１５ｌ、及び１１５ｏを利用して、ユーザＡは施設カテゴリ１２５の場所（例えばスタジアム）を定期的及び／又は頻繁に訪問することが推定され得る。さらに、投稿１１５ｅ及び１１５ｇを利用して、ユーザＡは施設カテゴリ１３０の場所（例えば軽食堂）を定期的及び／又は頻繁に訪問することが推定され得る。さらに、投稿１１５ｉを利用して、ユーザＡは施設カテゴリ１３５の場所（例えば国立公園）を定期的及び／又は頻繁に訪問することが推定され得る。
【００３５】
図２は、実装例による行動分析システムによって実行される、施設カテゴリへの訪問予測モデル生成プロセス２００のフローチャートである。プロセス２００において、特定のユーザ（例えば「ユーザＡ」）に関連する複数のソーシャルメディア投稿（例えばオンラインソーシャルメディアプラットフォームへのデジタル投稿）が２０５で収集される。ユーザＡに関連するソーシャルメディア投稿は、単一のソーシャルメディアプラットフォームから、あるいは異なるオンラインソーシャルメディアプラットフォームを横断して収集できる。いくつかの実装例では、複数の収集された投稿は、公的にアクセス可能な投稿又はユーザＡがアクセスを許可した投稿であってよい。ユーザＡが公的にアクセス可能としたソーシャルメディア投稿のみを利用するか、又はユーザＡがアクセスを許可したソーシャルメディア投稿を利用することにより、ユーザＡはユーザの施設カテゴリ訪問行動の推定に使用されるコンテンツを制御し得る。
【００３６】
収集されたソーシャルメディア投稿は、テキスト投稿、画像投稿、映像投稿、音声投稿、又は当業者に明らかなその他の任意の投稿を含む。さらには、投稿が収集されるソーシャルメディアプラットフォーム又は複数のソーシャルメディアプラットフォームは、特別に限定されたものではなく、当業者に明らかな任意のソーシャルメディアプラットフォームであってよい。例えば、ソーシャルメディアプラットフォームは、ソーシャルネットワークプラットフォーム、プロフェッショナルネットワークプラットフォーム、メディア共有プラットフォーム、ミニブログプラットフォーム、又は当業者に明らかなその他の任意のソーシャルメディアプラットフォームであってよい。
【００３７】
いくつかの実装例では、収集されたソーシャルメディア投稿は、任意選択によって各ソーシャルメディア投稿に関連する時間データに基づいたバッチにソート又はグループ化されてもよい。例えば、収集されたソーシャルメディア投稿は、週単位、月単位、又は年単位のバッチにグループ化されてもよい。
【００３８】
複数のソーシャルメディア投稿が収集された後、２１０において周知のコンピュータベースのコンテンツ認識手法を利用して第１のソーシャルメディア投稿から少なくとも１つのコンテンツ特徴が抽出される。例えば、第１のソーシャルメディア投稿が画像投稿又は映像投稿である場合、一つ又は複数の計算処理デバイスによってその画像または映像に対して物体認識手法が適用され、投稿のコンテンツが識別されて一つ又は複数のコンテンツ特徴が抽出されてもよい。同様に、第１のソーシャルメディア投稿がテキスト投稿である場合、一つ又は複数の計算処理デバイスによってテキスト認識手法が利用されてその投稿の主題又はコンテンツが判定されて一つ又は複数のコンテンツ特徴が抽出されてもよい。さらに、第１のソーシャルメディア投稿が音声投稿であれば、一つ又は複数の計算処理デバイスによって音声認識又は声認識手法が利用されてその投稿のコンテンツが判定されて一つ又は複数のコンテンツ特徴が抽出されてもよい。さらに、第１のソーシャルメディア投稿が、一つ又は複数の音声、映像、画像、又はテキスト情報の組合せを含む複数モードのコンテンツ投稿である場合には、当業者には明らかな一つ又は複数のコンテンツ認識プロセスを用いて各タイプの情報が処理されてもよい。いくつかの実装例では、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、重畳ニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ、ＣＮＮ）などのニューラルネットワークであってもよい。
【００３９】
２１０において少なくとも１つのコンテンツ特徴が第１のソーシャルメディア投稿から抽出された後、２１５において少なくとも１つのコンテンツ特徴が周知のコンピュータベースのコンテンツ認識手法を利用して第２のソーシャルメディア投稿から抽出されてよい。例えば、第２のソーシャルメディア投稿が画像投稿又は映像投稿である場合、一つ又は複数の計算処理デバイスによってその画像または映像に対して物体認識手法を適用し、投稿のコンテンツを識別して一つ又は複数のコンテンツ特徴が抽出されてもよい。同様に、第２のソーシャルメディア投稿がテキスト投稿である場合、一つ又は複数の計算処理デバイスによってテキスト認識手法を利用してその投稿の主題又はコンテンツを判定し、一つ又は複数のコンテンツ特徴が抽出されてもよい。さらに、第２のソーシャルメディア投稿が音声投稿であれば、一つ又は複数の計算処理デバイスによって音声認識又は声認識手法を利用してその投稿のコンテンツを判定し、一つ又は複数のコンテンツ特徴が抽出されてもよい。さらに、第２のソーシャルメディア投稿が、一つ又は複数の音声、映像、画像、又はテキスト情報の組合せを含む、複数モードのコンテンツ投稿である場合には、当業者には明らかな一つ又は複数のコンテンツ認識プロセスを用いて各タイプの情報を処理してもよい。いくつかの実装例では、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、第２のソーシャルメディア投稿から一つ又は複数のコンテンツ特徴を抽出するための、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークであってもよい。
【００４０】
いくつかの実装例では、上記の２１０と２１５に関して議論したものと同様の手法を用いて、２２０において更なるコンテンツ特徴が追加のソーシャルメディア投稿（例えば第３のソーシャルメディア投稿、第４のソーシャルメディア投稿など）から任意選択で抽出されてもよい。
【００４１】
コンテンツ特徴が抽出された後、抽出されたコンテンツ特徴を集合化して、事前に学習された又は事前定義されたコンテンツ特徴間の関係に基づいて２２５においてニューラルネットワークを使用してユーザに関連するコンテンツ特徴の集合体が生成される。例えば、ニューラルネットワークは、訓練又は事前定義された関係に基づいて連続する投稿において抽出されたコンテンツ特徴値の平均を取るか、あるいはコンテンツ特徴値に対する畳み込みを実行してもよい。
【００４２】
この集合体には、ソーシャルメディア投稿から抽出されたすべてのコンテンツ特徴と、異なるソーシャルメディア投稿で繰り返される任意のコンテンツ特徴に関連する頻度又は定期性とが含まれてよい。例えば、複数のソーシャルメディア投稿から特定の意味論（例えばハンバーガー）を示すコンテンツ特徴が抽出される場合、この特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する異なる投稿の数を、その特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関係するコンテンツ投稿の頻度の指標として追跡することができる。さらに、その特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する、任意の２つの連続する投稿の間の時間間隔の分散（ｖａｒｉａｎｃｅ）もまた追跡して、特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する投稿の定期性を判定するのに利用することができる。例えば、ファーストフードレストランに関係する投稿の間の時間間隔の分散が、日本食レストランに関係する投稿の間の時間間隔の分散よりも小さい場合には、ファーストフードレストランの定期性は日本食レストランの定期性よりも高い可能性がある。
【００４３】
プロセス２００のいくつかの実装例において、（この後２３０で議論されるように）ソーシャルメディアに関連する施設カテゴリの頻度又は定期性を推定しようとする前に、（２２５で行われたように）コンテンツ特徴を共に集合化することで、個別のソーシャルメディア投稿に基づいて施設カテゴリの推定を試みる場合よりもより大きな信頼性が提供される可能性がある。
【００４４】
集合化されたコンテンツ特徴に基づいて、ニューラルネットワークはユーザＡが一つ又は複数の施設カテゴリを訪問する頻度又は定期性を２３０で推定して、施設カテゴリへの訪問予測モデルを生成することができる。頻度又は定期性を推定するために、ニューラルネットワークは、この後議論する図４に関して説明される訓練プロセス４００などのような、訓練プロセスによって訓練されてもよい。訓練プロセスにおいてニューラルネットワークは、複数ユーザからのソーシャルメディア投稿を用いて訓練されて、ソーシャルメディア投稿から抽出されたコンテンツ特徴と施設カテゴリとの間の関係を展開又は学習することができる。訓練プロセスの展開又は学習された関係とユーザＡに関連する集合化されたコンテンツ特徴とに基づいて、ニューラルネットワークは、ユーザＡが異なる施設カテゴリを訪問する頻度と定期性を推定することができる。例えば、ニューラルネットワークは、図４のプロセス４００を利用して生成された展開又は学習された関係に基づいて、集合化された抽出コンテンツ特徴に関連する可能性のある施設カテゴリを判定することに利用されてもよい。さらに、集合化されたコンテンツ特徴が抽出されたソーシャルメディア投稿の頻度又は定期性を利用して、ニューラルネットワークはその集合化されたコンテンツ特徴に関連する施設カテゴリへの訪問の頻度又は定期性を推定してもよい。
【００４５】
いくつかの実装例では、ソーシャルメディア投稿がソートされた又はグループ化されたバッチに基づいて、頻度又は定期性の変化を推定することもできる。例えば、収集されたソーシャルメディア投稿が月単位又は年単位のバッチにグループ化された場合、特定の施設カテゴリに対して推定された頻度又は定期性の変化は、月単位又は年単位のバッチ間で変動して、月ごと又は年ごとの頻度又は定期性の潜在的な変化を示すことができる。
【００４６】
２３５において、少なくとも１つの頻繁又は定期的に訪問される施設カテゴリは、閾値を超える推定頻度又は推定定期性に基づいて判定されてもよい。閾値は、いくつかの実装例では、ソーシャルメディアプラットフォームに関連するシステム管理者によって設定されてもよい。他の実装例においては、閾値は施設カテゴリのうちの１つ内の施設に関連するビジネス管理者によって設定されてもよい。さらに他の実装例においては、閾値はユーザ訪問行動分析システムによって推定された訪問の判定された頻度又は定期性に基づいて動的に設定されてもよい。
【００４７】
少なくとも１つの頻繁又は定期的に訪問される施設カテゴリが判定された後、２４０において、販促用インセンティブを含むデジタル通信が任意選択で生成されてユーザＡに送信されてもよい。例えば、判定された施設カテゴリ内の施設のクーポンが生成されて、ソーシャルメディアプラットフォーム、又はユーザＡによリ提供された通信情報（例えば、提供された携帯電話番号へ送信されるショートメッセージサービス（ＳＭＳ）メッセージ、提供されたｅメールアドレスへ送信されるｅメールなど）を介してユーザＡに送信されてもよい。別の例としては、判定された施設カテゴリ内の施設における来るべきセール又は特売の通知がユーザＡに送られてもよい。第３の例としては、判定された施設カテゴリに関係する他の施設カテゴリの提案がユーザＡに送られてもよい。販促用インセンティブが生成された後、プロセス２００は終了できる。
【００４８】
図３Ａ及び図３Ｂは、実装例による行動分析システムによって実行される、施設カテゴリへの訪問予測モデル生成の別のプロセスのフローチャートである。プロセス３００のいくつかの態様は、図２に示すプロセス２００の態様と類似していてもよい。プロセス３００において、特定のユーザ（例えば「ユーザＡ」）に関連する複数のソーシャルメディア投稿（例えばオンラインソーシャルメディアプラットフォームへのデジタル投稿）が３０５で収集される。ここでも、ユーザＡに関連するソーシャルメディア投稿は、単一のソーシャルメディアプラットフォームから、又は異なるオンラインソーシャルメディアプラットフォームを横断して収集されてもよい。いくつかの実装例では、複数の収集された投稿は、公的にアクセス可能な投稿又はユーザＡがアクセスを許可した投稿であってよい。ユーザＡが公的にアクセス可能としたソーシャルメディア投稿のみを利用するか、又はユーザＡがアクセスを許可したソーシャルメディア投稿を利用することにより、ユーザの施設カテゴリ訪問行動の推定に使用されるコンテンツをユーザＡは制御し得る。
【００４９】
収集されたソーシャルメディア投稿は、テキスト投稿、画像投稿、映像投稿、音声投稿、又は当業者に明らかなその他の任意の投稿を含む。さらには、投稿が収集されるソーシャルメディアプラットフォーム又は複数のソーシャルメディアプラットフォームは、特別に限定されたものではなく、当業者に明らかな任意のソーシャルメディアプラットフォームであってよい。例えば、ソーシャルメディアプラットフォームは、ソーシャルネットワークプラットフォーム、プロフェッショナルネットワークプラットフォーム、メディア共有プラットフォーム、ミニブログプラットフォーム、又は当業者に明らかなその他の任意のソーシャルメディアプラットフォームであってよい。
【００５０】
いくつかの実装例では、収集されたソーシャルメディア投稿は、任意選択によって各ソーシャルメディア投稿に関連する時間データに基づいたバッチにソート又はグループ化されてもよい。例えば、収集されたソーシャルメディア投稿は、週単位、月単位、又は年単位のバッチにグループ化されてもよい。
【００５１】
複数のソーシャルメディア投稿が収集された後、３１０において周知のコンピュータベースのコンテンツ認識手法を利用して第１のソーシャルメディア投稿から少なくとも１つの視覚コンテンツ特徴が抽出される。例えば、第１のソーシャルメディア投稿が画像投稿又は映像投稿である場合、一つ又は複数の計算処理デバイスによってその画像または映像に対して物体認識手法が適用され、投稿のコンテンツが識別されて一つ又は複数の画像コンテンツ特徴が抽出されてもよい。いくつかの実装例では、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークであってもよい。
【００５２】
さらに、少なくとも１つのテキストコンテンツ特徴が、周知のコンピュータベースのコンテンツ認識手法を利用して３１２で第１のソーシャルメディア投稿から抽出されてもよい。例えば、第１のソーシャルメディア投稿の画像又は映像に表示されるテキストが、テキスト認識手法を用いて一つ又は複数の計算処理デバイスによって抽出されてその投稿の主題又はコンテンツが判定され、一つ又は複数のコンテンツ特徴が抽出されてもよい。さらに、第１のソーシャルメディア投稿に関連するキャプション又はテキストタグも、テキスト認識手法を利用して一つ又は複数の計算処理デバイスにより処理されて、少なくとも１つのテキストコンテンツ特徴が判定されてもよい。さらに、第１のソーシャルメディア投稿が音声データを含んでいれば、一つ又は複数の計算処理デバイスによって音声認識又は声認識手法を利用してその音声データがテキストデータに変換され、一つ又は複数のテキストコンテンツ特徴が抽出されてもよい。ここでもいくつかの実装例において、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークであってもよい。
【００５３】
いくつかの実装例において、少なくとも１つのテキストコンテンツ特徴は、第１のソーシャルメディア投稿から少なくとも１つの視覚コンテンツ特徴が抽出された後、その第１のソーシャルメディア投稿から抽出されてもよい。他の実装例において、少なくとも１つのテキストコンテンツ特徴は、少なくとも１つの視覚コンテンツ特徴が第１のソーシャルメディア投稿から抽出される前、又はそれと同時に、その第１のソーシャルメディア投稿から抽出されてもよい。
【００５４】
第１のソーシャルメディア投稿から少なくとも１つの画像コンテンツ特徴と少なくとも１つのテキストコンテンツ特徴の両方が抽出された後、その少なくとも１つの画像コンテンツ特徴とその少なくとも１つのテキストコンテンツ特徴が３１３においてニューラルネットワークを利用して統合されて、少なくとも第１の統合コンテンツ特徴が生成される。例えば、ニューラルネットワークは、その少なくとも１つの画像コンテンツ特徴とその少なくとも１つのテキストコンテンツ特徴とを共通の特徴表示空間に投影して、第１のソーシャルメディア投稿に関連する画像とテキストから同一形式の特徴表示を取得してもよい。画像から変換された特徴表示とテキストから変換された特徴表示とが、連結や平均化などによって統合されてもよい。
【００５５】
第１のソーシャルメディア投稿から少なくとも１つの統合コンテンツ特徴が生成された後、３１５において周知のコンピュータベースのコンテンツ認識手法を利用して、少なくとも１つの視覚コンテンツ特徴が第２のソーシャルメディア投稿から抽出される。例えば、第２のソーシャルメディア投稿が画像投稿又は映像投稿である場合、一つ又は複数の計算処理デバイスによってその画像または映像に対して物体認識手法が適用され、投稿のコンテンツが識別されて一つ又は複数の画像コンテンツ特徴が抽出されてよい。いくつかの実装例では、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークであってもよい。
【００５６】
さらに、３１７で少なくとも１つのテキストコンテンツ特徴が、周知のコンピュータベースのコンテンツ認識手法を利用して第２のソーシャルメディア投稿から抽出されてもよい。例えば、第２のソーシャルメディア投稿の画像又は映像に表示されるテキストが、テキスト認識手法を用いて一つ又は複数の計算処理デバイスによって抽出されてその投稿の主題又はコンテンツが判定され、一つ又は複数のコンテンツ特徴が抽出されてもよい。加えて、第２のソーシャルメディア投稿に関連するキャプション又はテキストタグも、テキスト認識手法を利用して一つ又は複数の計算処理デバイスにより処理されて、少なくとも１つのテキストコンテンツ特徴が判定されてもよい。さらに、第２のソーシャルメディア投稿が音声データを含んでいれば、一つ又は複数の計算処理デバイスによって音声認識又は声認識手法を利用してその音声データがテキストに変換され、一つ又は複数のテキストコンテンツ特徴が抽出されてもよい。ここでもいくつかの実装例において、コンテンツ認識プロセスを実行する一つ又は複数の計算処理デバイスは、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークであってもよい。
【００５７】
いくつかの実装例において、少なくとも１つのテキストコンテンツ特徴は、第２のソーシャルメディア投稿から少なくとも１つの視覚コンテンツ特徴が抽出された後、その第２のソーシャルメディア投稿から抽出されてもよい。他の実装例において、少なくとも１つのテキストコンテンツ特徴は、少なくとも１つの視覚コンテンツ特徴が第２のソーシャルメディア投稿から抽出される前、又はそれと同時に、その第２のソーシャルメディア投稿から抽出されてもよい。
【００５８】
第１のソーシャルメディア投稿から少なくとも１つの画像コンテンツ特徴と少なくとも１つのテキストコンテンツ特徴の両方が抽出された後、３１８において、その少なくとも１つの画像コンテンツ特徴とその少なくとも１つのテキストコンテンツ特徴が統合されて、少なくとも第２の統合コンテンツ特徴が生成される。例えば、ニューラルネットワークは、その少なくとも１つの画像コンテンツ特徴とその少なくとも１つのテキストコンテンツ特徴を共通の特徴表示空間に投影して、第２のソーシャルメディア投稿に関連する画像とテキストから同一形式の特徴表示を取得してもよい。画像から変換された特徴表示とテキストから変換された特徴表示とが、連結や平均化などによって統合されてもよい。
【００５９】
いくつかの実装例では、上記の３１０−３１３と３１５−３１８に関して議論した手法を反復して、３２０において更なるコンテンツ特徴が追加のソーシャルメディア投稿（例えば第３のソーシャルメディア投稿、第４のソーシャルメディア投稿など）から任意選択で抽出されてもよい。
【００６０】
統合コンテンツ特徴が生成された後、３２５において、ニューラルネットワークを利用して、統合コンテンツ特徴が集合化されて、事前学習又は事前定義されたコンテンツ特徴間の関係に基づいてユーザに関連するコンテンツ特徴の集合体が生成される。例えば、ニューラルネットワークは、訓練又は事前定義された関係に基づいて、連続する投稿において抽出されたコンテンツ特徴値の平均を取るか、あるいはコンテンツ特徴値に対する畳み込みを実行してもよい。
【００６１】
この集合体には、ソーシャルメディア投稿から抽出された視覚コンテンツ特徴及びテキストコンテンツ特徴から生成されたすべての統合コンテンツ特徴と、異なるソーシャルメディア投稿で繰り返される任意のコンテンツ特徴に関連する頻度又は定期性とが含まれ得る。例えば、複数のソーシャルメディア投稿から特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴が抽出される場合、この特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する異なる投稿の数を、その特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関係するコンテンツ投稿の頻度の指標として追跡することができる。さらに、その特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する、任意の２つの連続する投稿の間の時間間隔の分散もまた追跡され、特定の施設カテゴリ（例えばファーストフードレストラン）を示すコンテンツ特徴に関連する投稿の定期性を判定するのに利用されてもよい。例えば、ファーストフードレストランに関係する投稿の間の時間間隔の分散が、日本食レストランに関係する投稿の間の時間間隔の分散よりも小さい場合には、ファーストフードレストランの定期性は日本食レストランの定期性よりも高い可能性がある。
【００６２】
プロセス３００のいくつかの実装例において、（この後３３０で議論されるように）ソーシャルメディアに関連する施設カテゴリの頻度又は定期性を推定しようとする前に、（３２５で行われたように）コンテンツ特徴を共に集合化することは、個別のソーシャルメディア投稿に基づいて施設カテゴリの推定を試みることよりも、より大きな信頼性が提供される可能性がある。
【００６３】
集合化されたコンテンツ特徴に基づいて、ニューラルネットワークは、ユーザＡが一つ又は複数の施設カテゴリを訪問する頻度又は定期性を３３０で推定して、施設カテゴリへの訪問予測モデルを生成することができる。頻度又は定期性を推定するために、ニューラルネットワークは、この後議論する図４に関して説明されている訓練プロセスなどのような、訓練プロセスで訓練されてもよい。訓練プロセスにおいてニューラルネットワークは、複数ユーザからのソーシャルメディア投稿を用いて、ソーシャルメディア投稿のコンテンツ特徴と施設カテゴリとの間の関係を展開させるように訓練されてもよい。訓練プロセスの展開又は学習された関係とユーザＡに関連する集合化されたコンテンツ特徴とに基づいて、ニューラルネットワークは、ユーザＡが異なる施設カテゴリを訪問する頻度と定期性とを推定してもよい。例えば、ニューラルネットワークは、図４のプロセス４００を利用して生成された展開又は学習された関係に基づいて、集合化された抽出コンテンツ特徴に関連する可能性のある施設カテゴリを判定することに利用されてもよい。さらに、集合化されたコンテンツ特徴が抽出されたソーシャルメディア投稿の頻度又は定期性を利用して、ニューラルネットワークは、集合化されたコンテンツ特徴に関連する施設カテゴリへの訪問の頻度又は定期性を推定してもよい。
【００６４】
いくつかの実装例では、ソーシャルメディア投稿がソート又はグループ化されたバッチに基づいて頻度又は定期性の変化を推定することもできる。例えば、収集されたソーシャルメディア投稿が月単位又は年単位のバッチにグループ化された場合、特定の施設カテゴリに対して推定された頻度又は定期性の変化は、月単位又は年単位のバッチ間で変動して、月ごと又は年ごとの頻度又は定期性の潜在的な変化を示すことができる。
【００６５】
３３５において、少なくとも１つの頻繁又は定期的に訪問される施設カテゴリは、閾値を超える推定頻度又は推定定期性に基づいて判定されてもよい。閾値は、いくつかの実装例では、ソーシャルメディアプラットフォームに関連するシステム管理者によって設定されてもよい。他の実装例においては、閾値は施設カテゴリのうちの１つ内の施設に関連するビジネス管理者によって設定されてもよい。
【００６６】
少なくとも１つの頻繁又は定期的に訪問される施設カテゴリが判定された後、３４０で販促用インセンティブを含むデジタル通信が任意選択で生成されてユーザＡに送信されてもよい。例えば、判定された施設カテゴリ内の施設のクーポンが生成されて、ソーシャルメディアプラットフォーム又はユーザＡによリ提供された通信情報（例えば、提供された携帯電話番号へ送信されるＳＭＳメッセージ、提供されたｅメールアドレスへ送信されるｅメールなど）を介してユーザＡに送信されてもよい。別の例としては、判定された施設カテゴリ内の施設における来るべきセール又は特売の通知がユーザＡに送られてもよい。第３の例としては、判定された施設カテゴリに関係する他の施設カテゴリの提案がユーザＡに送られてもよい。販促用インセンティブが生成された後、プロセス３００は終了してもよい。
【００６７】
図４は、本出願の実装例によるプロセス２００と３００において使用可能な、ラベルの生成及びニューラルネットワーク訓練の訓練プロセス４００のフローチャートを示す。プロセス４００において、４０５で複数のユーザに係わる複数のソーシャルメディア投稿（例えばオンラインソーシャルメディアプラットフォームへのデジタル投稿）が収集される。ここでも、複数のユーザに関連するソーシャルメディア投稿は、単一のソーシャルメディアプラットフォームから、あるいは異なるオンラインソーシャルメディアプラットフォームを横断して収集されてもよい。いくつかの実装例では、複数の収集された投稿は、公的にアクセス可能な投稿又はユーザＡがアクセスを許可した投稿であってよい。実装例においては、公的にアクセス可能とされたか、又はアクセスが許可されていたソーシャルメディア投稿のみが利用可能であり、その結果、ユーザはニューラルネットワークの訓練に使用されるコンテンツを制御できる。
【００６８】
収集されたソーシャルメディア投稿は、テキスト投稿、画像投稿、映像投稿、音声投稿、又は当業者に明らかなその他の任意の投稿を含む。加えて、投稿が収集されるソーシャルメディアプラットフォーム又は複数のソーシャルメディアプラットフォームは、特別に限定されたものではなく、当業者に明らかな任意のソーシャルメディアプラットフォームであってよい。例えば、ソーシャルメディアプラットフォームは、ソーシャルネットワークプラットフォーム、プロフェッショナルネットワークプラットフォーム、メディア共有プラットフォーム、ミニブログプラットフォーム、又は当業者に明らかなその他の任意のソーシャルメディアプラットフォームであってよい。
【００６９】
複数のソーシャルメディア投稿が収集された後、４１０において各ソーシャルメディア投稿から少なくとも１つのコンテンツ特徴が抽出される。いくつかの実装例では、各ソーシャルメディア投稿は一つ又は複数のコンテンツ認識手法で処理されてよい。例えばソーシャルメディア投稿が画像投稿又は映像投稿である場合、その画像または映像に対して物体認識手法を適用して、投稿コンテンツを識別し、一つ又は複数のコンテンツ特徴が抽出されてよい。同様に、ソーシャルメディア投稿がテキスト投稿である場合、テキスト認識手法を使用してその投稿の主題又はコンテンツを判定し、一つ又は複数のコンテンツ特徴が抽出されてよい。さらに、ソーシャルメディア投稿が音声投稿である場合、音声認識又は声認識の手法を使用してその投稿のコンテンツを判定し、一つ又は複数のコンテンツ特徴が抽出されてよい。いくつかの実装例では、重畳ニューラルネットワーク（ＣＮＮ）などのニューラルネットワークを使用して、そのソーシャルメディア投稿から一つ又は複数のコンテンツ特徴が抽出されてよい。
【００７０】
各ソーシャルメディア投稿から少なくとも１つのコンテンツ特徴を抽出することに加え、４１５では各ソーシャルメディア投稿に関連するメタデータが抽出される。いくつかの実装例では、抽出されたメタデータはロケーションメタデータであってよい。ロケーションメタデータの抽出は、ソーシャルメディア投稿からコンテンツ特徴が抽出される前、又はソーシャルメディア投稿からコンテンツ特徴が抽出された後、又はソーシャルメディア投稿からコンテンツ特徴が抽出されるのと並行して行われてもよい。ロケーションメタデータは全地球測位システム（ＧＰＳ）データ、位置情報タグ（ｇｅｏｔａｇ）データ、ユーザのチェックインデータ（例えば、ユーザが既知又は以前識別した施設のリストから施設を選択し、かつ特定の時刻又は特定の日にその施設に物理的にいることを積極的に示唆した、特定のソーシャルメディア投稿に関連するデータ）、又は各ソーシャルメディア投稿に係わるロケーションを示すその他の任意のメタデータであってよい。いくつかの実装例では、抽出されたメタデータは、ソーシャルメディア投稿がソーシャルメディアネットワークにキャプチャ、生成、制作、又は投稿されたときを示す時間データであってもよい。
【００７１】
抽出されたメタデータに基づいて、４２０で各ソーシャルメディア投稿に関連する施設カテゴリラベルが判定される。いくつかの実装例では、施設カテゴリラベルは、特定の施設又はロケーションに関連する施設カテゴリの一つ又は複数の公開データベースを調べることで判定されてもよい。他の実装例では施設カテゴリラベルは、施設カテゴリラベルを識別されたロケーションに関連付ける他の手法を利用してもよい。例えば米国特許出願公開第２０１６／０１１０３８１号明細書に示される手法を利用して施設カテゴリを抽出されたメタデータに関連付けてもよい。
【００７２】
さらに、いくつかの実装例では、ユーザにより提供された各ソーシャルメディア投稿に関連する施設カテゴリラベルの判定はそのユーザに関連するグラウンドトゥルース（Ｇｒｏｕｎｄ−ｔｒｕｔｈ）ラベルの生成に利用されてもよい。その各ラベルはユーザのソーシャルメディア投稿から抽出されたロケーションメタデータに関連する施設カテゴリの頻度及び／又は定期性を示し、この頻度と定期性は、ユーザのシーケンスにおいて判定された施設カテゴリに関連する各投稿のタイムスタンプメタデータから導出される。これらの規則は予測因子モデルのパラメータを最適化するために利用されてもよい。さらに、予測因子モデルの最適化は以下でより詳細に議論される。
【００７３】
各ソーシャルメディア投稿に関連する施設カテゴリラベルが判定された後、４２５において、判定された施設カテゴリの各々が各ソーシャルメディア投稿から抽出された少なくとも１つのコンテンツ特徴に関連付けられる。又は、各ユーザに関連するグラウンドトゥルースラベルが判定された後、判定されたグラウンドトゥルースラベルは４２５において、ユーザにより提供されたソーシャルメディア投稿の各シーケンスから抽出された少なくとも１つのコンテンツ特徴に関連付けられる。
【００７４】
４３０において、予測因子モデルの一つ又は複数のパラメータが、各判定された施設カテゴリと、各ソーシャルメディア投稿から抽出された少なくとも１つのコンテンツ特徴との間の関連に基づいて最適化されてもよい。いくつかの実装例では、予測因子モデルは、判定されたグラウンドトゥルースラベルと、ユーザにより提供されたソーシャルメディア投稿の各シーケンスから抽出された少なくとも１つのコンテンツ特徴との間の関連に基づいて最適化されてもよい。予測因子モデルは、ユーザによって提供されたソーシャルメディア投稿のシーケンスに基づいて確率ベクトルを生成するように設計されていてもよい。確率ベクトルは、合計が１となる複数の非負要素から成る確率的ベクトルであってもよい。各要素はこの確率ベクトルの範囲内で、ソーシャルメディア投稿から抽出されたコンテンツ特徴と施設カテゴリの間の関連に基づいて、どれくらいの可能性でユーザが施設カテゴリを頻繁及び／又は定期的に訪問するかを示す。予測因子モデルが最適化されると、訓練プロセス４００は終了できる。
【００７５】
評価結果
【００７６】
実装例を実験により評価した。実験は２０１３年６月から２０１４年４月にかけてサンフランシスコのベイエリア付近での位置情報タグ付きのミニブログ投稿を含むデータセットを用いて行われた。実験のデータセットには、それぞれが施設カテゴリに関連する１７８，７３６個の画像が含まれていた。このデータセットから、ユーザからの９，５３４個のシーケンスの画像が抽出され、ユーザの頻繁で定期的な施設カテゴリ予測の訓練及びテストデータに使用された。予備評価では、実験は画像についてのみ行われた。ただし、テキストに対する同様の枠組みも利用可能であった。
【００７７】
訓練フェーズの間、各施設カテゴリ（ｃ）のグラウンドトゥルース確率（ｐｒｏｂｃ）を計算できる。グラウンドトゥルース確率（ｐｒｏｂｃ）は頻度と定期性の両方を考慮し、施設カテゴリと、与えられたユーザの画像シーケンスの各画像（ｉ）に関連するタイムスタンプとから導出される。
【００７８】
Ｃにおけるすべてのｉについて、
ｐｒｏｂｃ＝ｓｃｏｒｅｃ／ｓｕｍ(ｓｃｏｒｅｉ)    （式１）であり、ここで、
【００７９】
ｓｃｏｒｅｃ＝ｆｃｘ(ｄｃ＋α)/(ｓｑｒｔ(ｖａｒ(ΔＴｃ))＋α)  （式２）であり、
【００８０】
ｆは投稿の頻度であり、ΔＴｃはその施設カテゴリｃに関する任意の連続する２つの投稿の間の時間間隔の集合である。さらに、ｄｃは第１の投稿と最後の投稿の間の継続時間であり、αは一定値（本実験では０．３）である。Ｃは施設カテゴリの全体集合である。
【００８１】
テストの段階では、システムは与えられたユーザの画像シーケンスを入力とする。予備テストでは、実験のための１６４個のより一般的で視覚的に一貫性のある施設カテゴリに焦点を置いた。表１は本実験におけるカテゴリ例の選択を示す。他の施設カテゴリは当業者には明らかであろう。
【表１】
2018077821.tif 000003
【００８２】
訓練プロセスは様々な機械学習フレームワークに基づいてもよい。ただしいくつかの一連のニューラルネットワークアーキテクチャの１つに基づいている。異なる重畳ニューラルネットワークのアーキテクチャを比較して、この業務に最も適したものを選択した。各ＣＮＮアーキテクチャはＩｍａｇｅＮｅｔデータセット（１００万レベルの画像データベース）から訓練され、施設カテゴリに関連する画像を用いて微調整された。次に単一画像に対する施設カテゴリ予測を実行し、各ＣＮＮアーキテクチャの分類精度及び訓練時間コストを評価した。結果を下の表２に示す。
【表２】
2018077821.tif 000004
【００８３】
比較した後、ＡｌｅｘＮｅｔを選択した。これはＡｌｅｘＮｅｔがＶＧＧＮｅｔ及びＲｅｓＮｅｔに対してほぼ同等の分類精度を持つ一方で訓練時間がはるかに早いからである。
【００８４】
ユーザレベルの施設カテゴリ予測に関しては、本実装例による１段階集合化システム（ＭＩＬ）を、ベースラインである２段階フレームワーク（ＳＩＬ）と比較した。図５は、ベースラインの２段階フレームワーク（ＳＩＬ）のフロー図５００である。図に示すように、２段階フレームワークＳＩＬには、５０５での個別画像のコンテンツ特徴に基づく第１の位置予測と、５１０での予測結果の集合化又はプール化することとが含まれる。５１０での集合化又はプール化された予測結果に基づき、５１５でユーザラベルが生成される。
【００８５】
逆に、図６は実装例による、１段階集合化システム（ＭＩＬ）のフロー図６００である。図に示すように、ＭＩＬでは画像ラベルが単一画像のコンテンツ特徴に基づいて生成されるのではない。代わりに、上に述べたように単一画像のコンテンツ特徴は６０５においてプール化されるか畳み込みによって統合されて、６１０でユーザラベルが生成される。
【００８６】
２つのフレームワーク（ＳＩＬ対ＭＩＬ）を比較するために、２つの異なる損失関数を実装して分類損失とランキング損失を把握した。提案された実装例の２つの変数を、表３にＭＩＬ分類とＭＩＬランキングでそれぞれ表す。さらに、ＣＮＮで一般的に使用される、最大プール化と平均プール化の２つのプール化方式がある。２つのプール化方式を実験で比較した。本タスクにおいては、ベースラインＳＩＬ又は提案のＭＩＬのいずれの使用においても、平均プール化が最大プール化よりも優れていた。
【表３】
2018077821.tif 000005
【００８７】
表３に示すように、殆どのＭＩＬモデルは、分類精度とランキング品質においてベースラインＳＩＬとは実質的に異なる性能を示す。ＭＩＬ分類を利用すれば、実質的に異なる分類精度が得られ、他方ＭＩＬランキングを利用すれば、ユーザの頻繁な施設カテゴリ及び定期的な施設カテゴリに対して実質的に異なるランキング結果が得られる可能性がある。２つの異なるモデルは異なるアプリケーションに使用可能であろう。例えば、ＭＩＬランキングは、優先度をつけた推奨リストの提供に対して実質的に異なる選択となるであろうし、ＭＩＬ分類は特定のカテゴリのターゲットユーザに役立つことができる。ＭＩＬ（ＭＩＬ＋ＦＣ）の上に追加の完全接続されたレイヤを付加することで、ランキング品質をさらに変化させることができる。
【００８８】
これらの比較が示すように、施設カテゴリの予測は通常、位置予測（例えば粗いＧＰＳ又は正確なビジネス施設名に基づく予測）に比べて予測の複雑さが小さい。それは施設カテゴリが施設の上位集合であり、クラス数は通常小さいからである。例えば、施設数（例えばＰＥＥＴ’Ｓ、ＳＴＡＲＢＵＣＫＳ、ＰＨＩＬＺ、ＢＬＵＥ  ＢＯＴＴＬＥなど）は、施設カテゴリ（例えばカフェ）の数よりもはるかに大きい。さらに、位置予測に比べて、施設カテゴリはユーザ提供コンテンツとの関連性が高いことが多い。それは施設カテゴリが施設でのユーザの活動によって分類されているからである。この性質によって、ユーザの訪問行動の推定にはユーザ提供コンテンツを利用することがより直感的となる。さらに、本出願の実装例では、各画像（図５の５２０ａ〜５２０ｎ）に誤差が導入される可能性のある複数段階のフレームワークに比べて、誤差又は損失（図６の６２０）の伝搬を防止することができる。
環境例
【００８９】
図７はいくつかの実装例に好適な環境例７００を示す。環境７００はデバイス７１０〜７５５を含み、そのそれぞれは例えばネットワーク７６０（例えば有線接続及び／又は無線接続）を介して少なくとも１つの他のデバイスに通信可能に接続されている。いくつかのデバイス７３０は、一つ又は複数の記憶装置７３５と７５０に通信可能に接続されていてもよい。
【００９０】
一つ又は複数のデバイス７１０〜７５５の例は、次の図８で説明する計算処理デバイス８０５であってよい。デバイス７１０〜７５５は、コンピュータ７１０（例えばラップトップ計算処理デバイス）、モバイルデバイス７１５（例えばスマートフォン又はタブレット）、テレビ７２０、車両関連デバイス７２５、サーバコンピュータ７３０、計算処理デバイス７４０〜７４５、記憶デバイス７３５、７５０、及びウェアラブルデバイス７５５を含んでもよい。ただしこれに限るものではない。
【００９１】
いくつかの実装では、デバイス７１０〜７２５、７５５はユーザデバイス（例えばユーザがソーシャルメディアプラットフォームにアクセスして、画像やテキスト、映像、音声などのコンテンツを投稿あるいは共有するために使用するデバイス）と見なすことができる。デバイス７３０〜７５０はビジネス管理システムに関連したデバイスであり、ユーザの施設カテゴリへの訪問の頻度と定期性の推定に使用されてもよい。例えば、デバイス７３０〜７５０は行動分析システムであって、個別ユーザに関連するソーシャルメディア投稿を収集し、コンテンツ特徴を抽出し、コンテンツ特徴を一緒に集合化し、そのソーシャルメディア投稿に関連するユーザが異なるカテゴリの施設を訪問する頻度又は定期性を推定することによって、図２及び図３のプロセス２００／３００を実行してもよい。
【００９２】
コンピューティング環境例
図８は、いくつかの実装例での使用に好適な例示的計算処理デバイス８０５を有する、コンピューティング環境例８００を示す図である。計算処理デバイス８０５は行動分析システムの一部であって、図２、図３のプロセス２００／３００の実行に使用されてもよい。コンピューティング環境８００内の計算処理デバイス８０５は、一つ又は複数の処理ユニット、コア、プロセッサ８１０、メモリ８１５（例えばＲＡＭ、ＲＯＭ、及び／又はそれに類似のもの）、内部ストレージ８２０（例えば、磁気ストレージ、光学ストレージ、固体ストレージ、及び／又は有機ストレージ）、及び／又はＩ／Ｏインタフェース８２５などを含むことが可能であり、それらの任意のものは情報通信のための通信機構又はバス８３０に連結可能であり、あるいは計算処理デバイス８０５に組み込み可能である。
【００９３】
計算処理デバイス８０５は、入力／ユーザインタフェース８３５、及び出力装置／インタフェース８４０に、通信可能に連結できる。入力／ユーザインタフェース８３５と出力装置／インタフェース８４０のいずれか１つ又は両方が有線または無線のインタフェースであって、取り外し可能であってよい。入力／ユーザインタフェース８３５は、物理的または仮想的であって、入力を提供するために使用可能な任意のデバイス、コンポーネント、センサ、又はインタフェース（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御器、マイクロフォン、カメラ、点字器、モーションセンサ、光学リーダ、等）を含んでよい。出力装置／インタフェース８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字器、等を含んでよい。いくつかの実装例では、入力／ユーザインタフェース８３５と出力装置／インタフェース８４０は計算処理デバイス８０５に組み込まれていてもよいし物理的に連結されていてもよい。別の実装例では、他の計算処理デバイスが、計算処理デバイス８０５のための入力／ユーザインタフェース８３５と出力装置／インタフェース８４０として機能するか、あるいはその機能を提供してもよい。
【００９４】
計算処理デバイス８０５の例としては、これに限るものではないが、高度にモバイルなデバイス（例えば、スマートフォン、車両及びその他の機械に搭載のデバイス、ヒト又は動物が携行するデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブックコンピュータ、ラップトップコンピュータ、パーソナルコンピュータ、携帯テレビ、携帯ラジオなど）、及びモバイル用に設計されていないデバイス（例えば、デスクトップコンピュータ、サーバデバイス、その他のコンピュータ、情報キオスク、内部に組み込まれた及び／又は連結された一つ又は複数のプロセッサを有するテレビ、ラジオ、など）が含まれてよい。
【００９５】
計算処理デバイス８０５は、外部ストレージ８４５とネットワーク８５０に（例えばＩ／Ｏインタフェース８２５を介して）通信可能に接続されて、同じ構成又は異なる構成の一つ又は複数の計算処理デバイスを含む、任意の数のネットワーク接続されたコンポーネント、デバイス、及びシステムと通信できるようになっていてもよい。計算処理デバイス８０５又は任意の接続された計算処理デバイスは、サーバ、クライアント、シンサーバ（ｔｈｉｎ  ｓｅｒｖｅｒ）、汎用機械、専用用途機械、あるいはその他の装置として、機能するか、そのサービスを提供するか、又はそれらとして称することが可能である。
【００９６】
Ｉ／Ｏインタフェース８２５は、コンピューティング環境８００にある少なくともすべての接続されたコンポーネント、デバイス、及びネットワークに向けて、及び／又はそこから、情報を通信するための、任意の通信又はＩ／Ｏプロトコルまたは標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコル、等）を利用する有線及び／又は無線インタフェースを含むことができる。ただしこれに限るものではない。ネットワーク８５０は、任意のネットワーク又はネットワークの組合せ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワーク、等）であってよい。
【００９７】
計算処理デバイス８０５は、一時媒体及び非一時媒体を含むコンピュータ使用可能、又はコンピュータ可読の媒体の使用が可能、及び／又は使用した通信が可能である。一時媒体には、伝送媒体（例えば金属ケーブル、ファイバ光学材料）、信号、搬送波などが含まれる。非一時媒体には、磁気媒体（例えばディスク及びテープ）、光学媒体（例えばＣＤ  ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体ストレージ）、及びその他の不揮発性ストレージ又はメモリが含まれる。
【００９８】
計算処理デバイス８０５は、いくつかの例示的コンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令の実装に使用可能である。コンピュータ実行可能命令は一時媒体から取り出して、非一時媒体に格納して取り出すことが可能である。実行可能命令は、任意のプログラミング言語、スクリプティング言語、及び機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）、他）の内の一つ又は複数を起源とすることができる。
【００９９】
プロセッサ８１０は、ネイティブ環境又は仮想環境において任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行可能である。論理ユニット８５５、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット８６０、入力ユニット８６５、出力ユニット８７０、コンテンツ特徴抽出ユニット８７５、コンテンツ特徴集合化ユニット８８０、頻度及び定期性推定ユニット８８５、販促用インセンティブ生成ユニット８９０、及び異なるユニットが相互に、またＯＳと、そして他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５、を含む、一つ又は複数のアプリケーションを展開可能である。例えば、コンテンツ特徴抽出ユニット８７５、コンテンツ特徴集合化ユニット８８０、頻度及び定期性推定ユニット８８５、販促用インセンティブ生成ユニット８９０は、図２〜図４に示すプロセスの一つ又は複数を実装し得る。上記のユニット及び要素は、設計、機能、構成、又は実装において変形可能であり、ここでの記述に限定されるものではない。
【０１００】
いくつかの実装例において、情報又は実行命令がＡＰＩユニット８６０によって受信されると、それは一つ又は複数の他のユニット（例えば論理ユニット８５５、入力ユニット８６５、出力ユニット８７０、コンテンツ特徴抽出ユニット８７５、コンテンツ特徴集合化ユニット８８０、頻度及び定期性推定ユニット８８５、販促用インセンティブ生成ユニット８９０）へ通信されてよい。例えば、複数のソーシャルメディア投稿が入力ユニット８６５を介して収集されるとき、コンテンツ特徴抽出ユニット８７５が投稿を分析して、各ソーシャルメディア投稿から一つ又は複数のコンテンツ特徴を抽出できる。さらに、コンテンツ特徴集合化ユニット８８０がコンテンツ特徴抽出ユニット８７５で抽出されたコンテンツ特徴を集合化する。コンテンツ特徴集合化ユニット８８０が各ソーシャルメディア投稿から抽出されたコンテンツ特徴を集合化すると、頻度及び定期性推定ユニット８８５が、ユーザが異なる施設カテゴリを訪問する頻度又は定期性の一つ又は複数を推定する。頻度及び定期性推定ユニット８８５により推定された一つ又は複数の頻度又は定期性に基づいて、販促用インセンティブ生成ユニット８９０は販促用インセンティブを生成し、出力ユニット８７０を用いてユーザへ送信してもよい。
【０１０１】
いくつかの事例では、論理ユニット８５５は、ユニット間の情報の流れを制御して、上記のいくつかの実装例においてＡＰＩユニット８６０、入力ユニット８６５、出力ユニット８７０、コンテンツ特徴抽出ユニット８７５、コンテンツ特徴集合化ユニット８８０、頻度及び定期性推定ユニット８８５、及び販促用インセンティブ生成ユニット８９０）により提供されるサービスを指示するように構成され得る。例えば、一つ又は複数のプロセス又は実装のフローは、論理ユニット８５５だけで制御されてもよいし、ＡＰＩユニット８６０と連携して制御されてもよい。
【０１０２】
いくつかの実装例を示して説明したが、これらの実装例は本明細書に記載の主題を当分野に精通した人に伝えるために提供される。本明細書に記載の主題は、記載した実装例に限定されることなく、様々な形式で実装され得ることを理解されたい。本明細書に記載の主題は、特に規定又は記述された事柄なしで、あるいは記述されていないその他又は異なる要素を用いて実行することが可能である。当分野に精通している人には、添付の特許請求の範囲及びその等価物に定義されているような本明細書に記載の主題から乖離することなしに、これらの実装例における変形をなし得ることが理解されるであろう。
【図１】
2018077821.tif 000006
【図２】
2018077821.tif 000007
【図３Ａ】
2018077821.tif 000008
【図３Ｂ】
2018077821.tif 000009
【図４】
2018077821.tif 000010
【図５】
2018077821.tif 000011
【図６】
2018077821.tif 000012
【図７】
2018077821.tif 000013
【図８】
2018077821.tif 000014