(57)【要約】      （修正有）【課題】投稿に基づく製品関連情報を伝送する、情報をユーザに向ける方法およびシステムを提供する。【解決手段】方法は、製品を識別し、かつ、デジタルアカウントに関連付けられている、１つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップとを有する。伝送するステップは、１つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づく。【選択図】図２
2018142294.tif 000002
【特許請求の範囲】
【請求項１】
情報をターゲットに向ける方法であって、前記方法は、
製品を識別し、かつデジタルアカウントに関連付けられている、１つ以上のデジタル投稿を収集するステップと、
各デジタル投稿について生成された特徴表現に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記１つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
を備える、方法。
【請求項２】
前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、
メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、
のうちの少なくとも１つを備える、請求項１に記載の方法。
【請求項３】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
を備える、請求項１に記載の方法。
【請求項４】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
のうちの少なくとも１つを更に備える、請求項３に記載の方法。
【請求項５】
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項３に記載の方法。
【請求項６】
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、
前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と、
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項３に記載の方法。
【請求項７】
前記決定モデルのステージは、
意識のステージと、
関心のステージと、
欲求のステージと、
アクションのステージと、
否定的なセンチメントのステージと、
関連しないステージと、
のうちの１つ以上を備える、請求項３に記載の方法。
【請求項８】
前記１つ以上のデジタル投稿の各々に関連付けられた前記決定モデルのステージを前記ニューラルネットワークによって識別するステップは、クラスのランキングを損失関数として使用して、前記ニューラルネットワークがクラスの不均衡を補償することを可能にするステップを備える、請求項３に記載の方法。
【請求項９】
情報をターゲットに向ける方法をコンピュータに実行させるためのプログラムであって、前記方法は、
製品を識別し、かつデジタルアカウントに関連付けられている１つ以上のデジタル投稿を収集するステップと、
各デジタル投稿について生成された特徴表現に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記１つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
を備える、プログラム。
【請求項１０】
前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、
メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、
のうちの少なくとも１つを備える、請求項９に記載のプログラム。
【請求項１１】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
を備える、請求項９に記載のプログラム。
【請求項１２】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
のうちの少なくとも１つを更に備える、請求項１１に記載のプログラム。
【請求項１３】
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項１１に記載のプログラム。
【請求項１４】
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、
前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項１１に記載のプログラム。
【請求項１５】
情報をターゲットに向けるように構成されたサーバ装置であって、
製品を識別し、かつデジタルアカウントに関連付けられている、１つ以上のデジタル投稿を格納するメモリと、
プロセスを実行するプロセッサであって、
各デジタル投稿について生成された特徴表現に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、
製品関連情報を前記デジタルアカウントに伝送するステップであって、前記伝送するステップが、前記１つ以上のデジタル投稿の各々について識別された前記決定モデルのステージに基づく、ステップと、
を備えるプロセッサと
を備える、サーバ装置。
【請求項１６】
前記プロセスは、前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、
スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、
メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、
のうちの少なくとも１つを備える、請求項１５に記載のサーバ装置。
【請求項１７】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、
を備える、請求項１５に記載のサーバ装置。
【請求項１８】
前記決定モデルのステージを識別するステップは、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、
のうちの少なくとも１つを更に備える、請求項１７に記載のサーバ装置。
【請求項１９】
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項１７に記載のサーバ装置。
【請求項２０】
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、
前記１つ以上のデジタル投稿は、
第１の投稿時間に関連付けられた第１の投稿と、
前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、
前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と、
を備えるデジタル投稿の時系列のシーケンスを備え、
前記決定モデルのステージを識別するステップは、
前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備える、請求項１７に記載のサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ソーシャルメディアネットワークに関し、より具体的には、購入行動を識別するためにソーシャルメディアネットワークを使用するシステムおよび方法に関する。
【背景技術】
【０００２】
関連技術のソーシャルメディアシステムにおいて、広告主は広告、特に低いフォロースルーを有する広告を送信するコストを意識しており、広告を正確にユーザに向けたいと考えている。これらの関連技術のソーシャルメディアシステムを使用して、一部のユーザは、製品について議論するための電子商取引のウェブサイト、チャットまたは投稿掲示板に投稿することによって、またはマイクロブログ投稿を通して、製品または製品のカテゴリに対する関心を共有することがある。この共通の関心に基づいて、関連技術システムは、製品を購入する意図を有するユーザ（例えば、「購入意図」）を識別しようと試みてもよい。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】KORPUSIK, MANDY, ET AL., “RECURRENT NEURAL NETWORKS FOR CUSTOMER PURCHASE PREDICTION ON TWITTER（登録商標）”, 4 PAGES, COPYRIGHT 2016, CBRECSYS  2016, SEPTEMBER 16, 2016, BOSTON, MA, US
【非特許文献２】NORGUEIRA DOS SANTOS, CICERO, ET AL., “CLASSIFYING RELATIONS BY RANKING WITH CONVOLUTIONAL NEURAL NETWORKS”. 10 PAGES, ARXIV:1504.06580V2 [CS.CL] MAY 24, 2015
【非特許文献３】DING, XIAO, ET AL., “MINING USER CONSUMPTION INTENTION FROM SOCIAL MEDIA USING DOMAIN ADAPTIVE CONVOLUTIONAL NEURAL NETWORK”, 7 PAGES, COPYRIGHT 2015, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE.
【非特許文献４】LASSEN, NIELS BUUS, ET AL., “PREDICTING IPHONE(登録商標）SALES FROM IPHONE(登録商標） TWEETS”, 10 PAGES, 2014 COPENHAGEN BUSINESS SCHOOL, COMPUTATIONAL SOCIAL SCIENCE LABORATORY, DEPARTMENT OF ITM, FREDERIKSBERG, DENMARK
【非特許文献５】MORRIS, MEREDITH RINGEL, ET AL., “WHAT DO PEOPLE ASK THEIR SOCIAL NETWORKS, AND WHY? A SURVEY STUDY OF STATUS MESSAGE Q&A BEHAVIOR”, 10 PAGES, COPYRIGHT 2010 ACM 978-1-60558-929-9-9/10/04 CHI 20110, APRIL 10-15, 2010, ATLANTA GA US
【非特許文献６】MAHMUD, JALAL, ET AL., “PREDICTING ATTITUTE AND ACTIONS OF TWITTER(登録商標） USERS”, 5 PAGES, IUI 2016 - SOCIAL MEDIA, MARCH 7-10, 2016, SONOMA, CA US COPYRIGHT 2016 ACM 978-1-4503-4137-0/16/03
【非特許文献７】TANG, DUYU, ET AL., “DOCUMENT MODELING WITH GATED RECURRENT NEURAL NETWORK FOR SENTIMENT CLASSIFICATION”, 11 PAGES, PROCEEDINGS OF THE 2015 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING, PAGES 1422-1432, LISBON, PORTUGAL, SEPTEMBER 17-21, 2015. COPYRIGHT 2015 ASSOCIATION FOR COMPUTATIONAL LINGUISTICS.
【非特許文献８】GODIN, FREDERIC, ET AL., “MULTIMEDIA LAB @ ACL W-NUT NER SHARED TASK: NAMED ENTITY RECOGNITION FOR TWITTER（登録商標） MICROPOSTS USING DISTRIBUTED WORD REPRESENTATIONS”, 8 PAGES, GHENT UNIVERSITY - IMINDS, MULTIMEDIA LAB, GHENT, BELGIUM 2015.
【非特許文献９】CHUNG, JUNYOUNG, ET AL., “EMPIRICAL EVALUATION OF GATED RECURRENT NEURAL NETWORKS ON SEQUENCE MODELING”, 9 PAGES, ARXIV:1412.3555V1 [CS.NE] DECEMBER 11, 2014
【非特許文献１０】SAKAKI, SHIGEYUKI, ET AL., “CORPUS FOR CUSTOMER PURCHACE BEHAVIOR PREDICTION IN SOCIAL MEDIA”, 5 PAGES, FX PALO ALTO LABORATORY, INC., PALO ALTO, CALIFORNIA, US 2016
【非特許文献１１】MIKOLOV, TOMAS, ET AL., “EFFICIENT ESTIMATION OF WORD REPRESENTATIONS IN VECTOR SPACE”, 12 PAGES, ARXIV:1301.3781V3 [CS.CL] SEPTEMBER 7, 2013
【非特許文献１２】KALCHBRENNER, NAL, ET AL., “A CONVOLUTIONAL NEURAL NETWORK FOR MODELLING SENTENCES”, 11 PAGES, ARXIV:1402.2188V1 [CS.CL], APRIL 8, 2014
【非特許文献１３】CHO, KYUNGHYUN, ET AL., “LEARNING PHASE REPRESENTATIONS USING RNN ENCODER-DECODER FOR STATISTICAL MACHINE TRANSLATION”, 15 PAGES, ARXIV:1406.1078V3 [CS.CL] SEPTEMBER 3, 2014
【非特許文献１４】BAHDANAU, DZMITRY, ET AL., “NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE”, 15 PAGES, ARXIV:1409.0473V7 [CS.CL] MAY 19, 2016
【非特許文献１５】HERMANN, KARL MORITZ, ET AL., “TEACHING MACHINES TO READ AND COMPREHEND”, 14 PAGES, ARXIV:1506.03340V3 [CS.CL] NOVEMBER 19, 2015
【非特許文献１６】HOCHREITER, SEPP, ET AL., “LONG SHORT-TERM MEMORY”, 46 PAGES, COPYRIGHT 2001, NEURAL COMPUTATION 9, 1735-1780 (1997), COPYRIGHT 1997 MASSACHUSETTS INSTITUTE OF TECHNOLOGY
【非特許文献１７】NAKOV, PRESLAV, ET AL., “SEMEVAL-2016 TASK 4: SENTIMENT ANALYSIS IN TWITTER（登録商標）”, 18 PAGES, PROCEEDINGS OF SEMEVAL-2016, PAGES 1-18, SAN DIEGO, CA, JUNE 16-17, 2016. COPYRIGHT 2016 ASSOCIATOIN FOR COMPUTATIONAL LINGUISTICS.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、一部のユーザは、マルチステージの購入意思決定プロセス（例えば、ＡＩＤＡ（意識／注目、関心、欲求、アクション）モデル購入決定プロセス）を経なければならないことがある。例えば、ユーザは、製品を購入する準備が整う前に、まず製品を意識し、次にその製品に関心を持ち、次にその製品を望むことが必要であろう。ソーシャルメディア投稿は、情報的ジャンル、時事的ジャンル、感情的ジャンル、些細なジャンルなど、様々なジャンルをカバーすることができる。したがって、製品に言及するユーザの投稿は、意識または関心を示すが欲求またはアクションを示すものではない可能性があり、したがって、ターゲットとしたマーケティングは時期尚早であり得るか、またはユーザの購入ステージに基づいて異なるアプローチが必要とされ得る。関連技術のソーシャルメディアは、購入意思決定プロセスにおいてユーザがどこにいるかを判定しない場合がある。
本開示の技術は、投稿に基づく製品関連情報を伝送することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の態様は、情報をターゲットに向ける方法を含んでいてもよい。この方法は、製品を識別し、かつデジタルアカウントに関連付けられている、１つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、１つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づくステップとを含む。
【０００６】
上記態様は、前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、のうちの少なくとも１つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも１つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
【０００７】
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。  前記決定モデルのステージは、意識のステージと、関心のステージと、欲求のステージと、アクションのステージと、否定的なセンチメントのステージと、関連しないステージと、のうちの１つ以上を備えるようにしてもよい。
前記１つ以上のデジタル投稿の各々に関連付けられた前記決定モデルのステージを前記ニューラルネットワークによって識別するステップは、クラスのランキングを損失関数として使用して、前記ニューラルネットワークがクラスの不均衡を補償することを可能にするステップを備えるようにしてもよい。
【０００８】
本開示の更なる態様は、情報をターゲットに向ける方法をコンピュータに実行させるプログラムでもよい。この方法は、製品を識別し、かつデジタルアカウントに関連付けられている、１つ以上のデジタル投稿を収集するステップと、各デジタル投稿について生成された特徴表現に基づいて、１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、１つ以上のデジタル投稿の各々について識別された、決定モデルのステージに基づくステップとを含む。
【０００９】
上記態様は、前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、のうちの少なくとも１つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも１つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿とを備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と
を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
【００１０】
本開示の更なる態様は、また、情報をターゲットに向けるように構成された装置を含んでいてもよい。装置は、製品を識別し、かつデジタルアカウントに関連付けられた１つ以上のデジタル投稿を記憶するメモリと、プロセッサとを含む。プロセッサは、各デジタル投稿について生成された特徴表現に基づいて、１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージをニューラルネットワークによって識別するステップと、製品関連情報をデジタルアカウントに伝送するステップであって、伝送するステップが、１つ以上のデジタル投稿の各々について識別された決定モデルのステージに基づく、ステップとを含むプロセスを実行する。
【００１１】
前記プロセスは、前記１つ以上のデジタル投稿に関連付けられた前記決定モデルのステージを識別する前に、前記１つ以上のデジタル投稿を前処理するステップを更に備え、前記前処理するステップは、スパムを示す少なくとも１つのデジタル投稿を除去するために、前記１つ以上のデジタル投稿をフィルタリングするステップと、メディアコンテンツの矛盾するトークン化および不規則な伸長を除去するために、少なくとも１つのデジタル投稿をクリーニングするステップと、のうちの少なくとも１つを備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた少なくとも１つのコンテンツ特徴を抽出するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた特徴表現を別のニューラルネットワークによって生成するステップであって、前記別のニューラルネットワークが前記ニューラルネットワークとは異なっている、ステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現に基づいて、前記決定モデルのステージを識別するステップと、を備えるようにしてもよい。
前記決定モデルのステージを識別するステップは、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられたセンチメント表現を生成し、前記生成されたセンチメント表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、前記１つ以上のデジタル投稿の各々に関連付けられた前記少なくとも１つのコンテンツ特徴に基づいて、前記１つ以上のデジタル投稿の各々に関連付けられた関連性表現を生成し、前記生成された関連性表現と前記１つ以上のデジタル投稿の各々に関連付けられた前記生成された特徴表現とに基づいて、前記決定モデルのステージを識別するステップと、のうちの少なくとも１つを更に備えるようにしてもよい。
前記ニューラルネットワークは、単方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現と前記第２の投稿に関連付けられた特徴表現とに基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
【００１２】
前記ニューラルネットワークは、双方向ゲートリカレントニューラルネットワークであり、前記１つ以上のデジタル投稿は、第１の投稿時間に関連付けられた第１の投稿と、前記第１の投稿時間の後の第２の投稿時間に関連付けられた第２の投稿と、前記第１の投稿時間の後および前記第２の投稿時間の後の第３の投稿時間に関連付けられた第３の投稿と、を備えるデジタル投稿の時系列のシーケンスを備え、前記決定モデルのステージを識別するステップは、前記第１の投稿に関連付けられた特徴表現、前記第２の投稿に関連付けられた特徴表現、および前記第３の投稿に関連付けられた特徴表現に基づいて、前記第２の投稿に関連付けられた前記決定モデルのステージを識別するステップを備えるようにしてもよい。
【００１３】
本開示の更なる態様は、また、情報をターゲットに向けるように構成された、別の装置を含んでいてもよい。装置は、製品を識別し、かつデジタルアカウントに関連付けられている、１つ以上のデジタル投稿を記憶するメモリと、各デジタル投稿について生成された特徴表現に基づいて、１つ以上のデジタル投稿の各々に関連付けられた決定モデルのステージを識別する手段と、製品関連情報をデジタルアカウントに伝送する手段であって、伝送が、１つ以上のデジタル投稿の各々について識別された決定モデルのステージに基づく、手段とを含む。
【図面の簡単な説明】
【００１４】
【図１】本出願の実装例に使用可能なソーシャルメディア環境を示した図である。
【図２】本出願の実装例による、識別された決定購入ステージに基づいて、ユーザにターゲットを設定するプロセスのフローチャートを示した図である。
【図３】実装例に従って、ソーシャルメディア投稿を前処理するサブプロセスのフローチャートを示した図である。
【図４】実装例に従って、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージを識別する、サブプロセスを示した図である。
【図５】実装例に従って、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージを識別する、サブプロセスを示した図である。
【図６】実装例による、階層的ニューラルネットワークに基づく購入識別モデルの概略図を示した図である。
【図７】実装例による、ソーシャルメディア投稿の表現を生成するために使用されてもよい、異なるモデルの概略図を示した図である。
【図８】実装例に従って、ソーシャルメディア投稿を購入決定ステージに分類するために使用されてもよい、異なるモデルの概略図を示した図である。
【図９】いくつかの実装例における使用に適した例示的なコンピュータデバイスを有するコンピューティング環境の例を示した図である。
【発明を実施するための形態】
【００１５】
以下の詳細な説明は、本出願の図および実装例の更なる詳細を提供する。図の間で重複する要素の参照番号および説明は、明確にするために省略されている。説明全体を通して使用されている用語は、例として提供されており、限定を意図するものではない。例えば、「自動」という用語の使用は、本適用の実装を実施する当業者の所望の実装に応じて、ユーザまたはオペレータが実装の特定の態様を制御することを含む、完全自動または半自動の実装を含み得る。
【００１６】
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである１人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた（例えば、遅延した）顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。
【００１７】
上記のような購入意思を判定することに加えて、広告主は、ＡＩＤＡ（意識／注目、関心、欲求、アクション）モデルを使用して、ユーザの購入意思決定プロセスステージをモデル化してもよい。本出願の実装例は、ニューラルネットワークおよびマルチタスク学習を使用して、ユーザが購入意思決定プロセスのどこにいるかを判定し、プロセスにおける彼または彼女のステージに基づいて、受け入れ可能なユーザをターゲットとする広告または情報を提供してもよい。例えば、ある製品に関心のあるユーザのために、その製品の製造元または競合製品の製造元は、自社製品に関する特徴を備えた広告を表示したい場合がある。更に、特定の製品を購入することを望むユーザのために、対象の製品を提供している店舗は、クーポンまたは今後の販売に関する情報をユーザに提供したい場合がある。
【００１８】
実装例では、ユーザの行動、意見、購入への関心など、マーケティングおよび顧客関係管理に有用な情報を含むソーシャルメディア投稿またはマイクロブログ投稿を、深層学習方法を用いて特定してもよい。更に、深層学習方法を用いて識別されたソーシャルメディア投稿を使用して、ソーシャルメディア投稿に執筆または投稿しているユーザに関連付けられた、ＡＩＤＡモデルステージに関連付けられたプロセスステージを自動的に識別してもよい。いくつかの実装例では、「アクション」（例えば、「Ａ」）ステージは、「購入した」または「購入している」（例えば、「Ｂ」）として識別されてもよい。加えて、いくつかの実装例では、モデル化されたステージは、「不満」または「Ｕ」を含んでもよい（例えば、ソーシャルメディア投稿は、否定的なセンチメントの指標、すなわち製品に対するユーザの不満として分類されてもよい）。更に、いくつかの実装例では、購入意思決定プロセスステージモデルは、購入決定プロセスステージに関連しないソーシャルメディア投稿を分類するために使用される、オープンクラスの分類（例えば、人工クラス、「Ｎ」または「購入決定ステージではない」）を含んでいてもよい。したがって、いくつかの実装例では、購入意思決定プロセスステージモデルは、ＡＩＤＢＵＮ（例えば、意識、関心、欲求、購入した、不満、購入意思決定ステージではない）モデルと見なされてもよい。
【００１９】
図１は、本出願の実装例で使用可能なソーシャルメディア環境１００を示す。いくつかの実装例では、ソーシャルメディア環境はマイクロブログソーシャルメディア環境であってもよい。例えば、限定はしないが、マイクロブログは、Ｔｗｉｔｔｅｒ（登録商標）、Ｔｕｍｂｌｒ、Ｔｏｕｔ、Ｔｅｎｃｎｅｔ  Ｗｅｉｂｏまたは当業者に明らかであろう他のマイクロブログプラットフォームを含んでもよい。しかし、ソーシャルメディア環境１００の実装例は、マイクロブログに限定されず、任意のソーシャルメディア環境となり得る。図示したソーシャルメディア環境１００は、例えばネットワーク１０５を介して（例えば有線および／または無線接続によって）互いに通信可能に接続された、複数のデバイス１１０〜１３５を含む。
【００２０】
デバイス１１０〜１３５は、限定されるものではないが、コンピュータ１１５（例えば、ラップトップコンピューティングデバイス）、モバイルデバイス１１０、１３０（例えば、スマートフォンまたはタブレット）、テレビ１２５、車両に関連付けられたデバイス１２０、ウェアラブルデバイス１３３（スマートウォッチなど）、およびサーバコンピュータ１３５を含んでいてもよい。デバイス１１０〜１３５は、図９で以下に示すようなコンピューティング環境を有していてもよい。
【００２１】
いくつかの実装例では、１つ以上のデバイス１１０〜１３５をユーザに関連付けてもよい（例えば、デバイス１１０は、ユーザ１５０がソーシャルメディア投稿１４０を下書き、編集、アップロード、および伝送するために使用されてもよい）。例えば、ユーザ１５０に関連付けられたデバイス１１０は、ソーシャルメディア投稿１４０をソーシャルメディア環境１００に伝送し、ネットワーク１０５を介して他のそれぞれのユーザに関連付けられた他のデバイス１１５〜１３５に受信されてもよい。更に、他の各デバイス１１５〜１３５をオプションで（破線で示す）使用して、ソーシャルメディア投稿１４０に応答１４５を送信してもよい。本アプリケーションの実装例では、少なくとも１つのデバイス１３５は、ユーザ１５０によるソーシャルメディア投稿１４０を分析して、製品への言及を検出し、検出された言及に基づき、以下の図２〜図５で後述するプロセスを使用して、ユーザが購入意思決定プロセス（例えば、ＡＩＤＡまたはＡＩＤＢＵＮでモデル化されたプロセス）のどこにいる可能性があるかを判定してもよい。この分析および判定は、デバイス１３５に接続、関連付け、または統合されたプロセッサ１５５によって行われてもよい。
【００２２】
更に、ユーザ１５０が購入意思決定プロセスのどこにいる可能性があるかの判定に基づいて、プロセッサ１５５は、デバイス１３５に、ユーザの意思決定プロセスステージに合わせた製品に関する追加情報１７５を、ユーザ１５０に直接送信させる。例えば、追加情報１７５は、ユーザが「意識」または「関心」のステージにいる時の製品の新機能または消費者レビューに関する情報、およびユーザが「欲求」または「アクション」のステージのいる時の今後の販売、値引き、または払い戻しに関する情報を含むことができる。購入意思決定プロセスの検出されたステージに基づいてユーザに送信される他の情報は、当業者には明らかであろう。
【００２３】
更に、いくつかの実装例では、プロセッサ１５５は、デバイス１３５を、別のソーシャルメディアネットワークまたはデータベース１６５と最初に通信させて、ユーザ１５０に関する情報１７０を検出させてもよい。例えば、ユーザ１５０が製品を購入する可能性が高いという判定に基づいて、デバイス１３５は、他のソーシャルメディアネットワークまたはデータベース（例えば、フェイスブック、インスタグラムなど）をユーザ１５０の他のソーシャルメディアアカウントについて検索してもよい。更に、他のソーシャルメディアアカウントを使用して、デバイス１３５は、ユーザ１５０に関連付けられた年齢、地理的位置、関心、趣味などの情報１７０を検出してもよい。検出された情報１７０に基づいて、プロセッサ１５５は、デバイス１３５を制御して、製品についてユーザ１５０に送信される追加情報１７５をユーザ１５０に特に合わせてもよい。例えば、追加情報１７５は、ユーザ１５０の年齢および他の人口統計に合わせた製品の広告を含むことができる。追加情報１７５はまた、ユーザ１５０の趣味に合わせた新機能または消費者レビューに関する情報を含むことができる。同様に、追加情報１７５は、ユーザ１５０の地理的領域における今後の販売、値引き、または払い戻しに関する情報を含むことができる。
【００２４】
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである１人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた（例えば、遅延した）顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。
【００２５】
図２は、本出願の実装例による、ユーザの識別された決定購入ステージに基づいて、ユーザにターゲットを設定するプロセス（プログラム）２００のフローチャートを示す。図示したプロセス２００は、デバイス（デバイス１３５など）のプロセッサ（プロセッサ１５５など）によって行われて、ユーザに焦点を合わせた製品情報を提供してもよい。プロセス２００では、特定の製品を示すデータを含む複数のソーシャルメディア投稿が２０５で検出される。データは、製品の名称またはメーカーまたはモデル、または製品への一般的な言及など、製品を説明または言及するテキストまたはオーディオであってもよい。データは、製品のメーカーまたはモデルの画像またはビデオであってもよい。特定のソーシャルメディアソースまたはネットワークへのソーシャルメディア投稿をすべて分析することによって、２０５でデータを検出することができる。データは、一般的に製品、特定のタイプの製品（カメラ、携帯電話、自動車など）、または特定の製造元に専用のソーシャルメディアソースまたはネットワークのグループまたはサブグループに焦点を当てることによって、２０５で検出することもできる。グループ分けおよびサブグループ分けは、上記に限定されず、他のグループ分けを採用してもよい。
【００２６】
ソーシャルメディア投稿を収集した後、オプションで、以下でより詳細に説明されるサブプロセス３００のようなサブプロセスを使用して、収集したソーシャルメディア投稿を２１０で前処理してもよい。
【００２７】
更に、２１５で、各ソーシャルメディア投稿に関連付けられた生成された表現に基づいて、各ソーシャルメディア投稿に関連付けられた購入決定ステージ（例えば、ＡＩＤＢＵＮモデルのステージなど）を識別してもよい。表現は、各ソーシャルメディア投稿から抽出されたコンテンツ特徴に基づいて生成されてもよい。コンテンツ特徴の抽出、表現の生成、および購入決定プロセスステージの識別は、図４および図５のサブプロセス４００および５００に関して以下により詳細に論じられる。
【００２８】
２２０では、購入ステージ分類（例えば、ＡＩＤＢＵＮモデルステージ）に基づいて、ソーシャルメディアアカウントの作成者または所有者など、複数の検出された投稿に関連付けられたユーザに、製品に関するターゲット情報を伝送してもよい。例えば、複数のソーシャルメディア投稿が「欲求」のステージに関連付けられていると識別された場合、今後の販売のクーポンまたは通知をユーザに送信して購入を促してもよい。あるいは、複数のソーシャルメディア投稿が「意識」または「関心」のステージに関連付けられていると識別された場合、製品のレビューまたは製品の特徴情報を送信して「欲求」を促してもよい。
【００２９】
追加情報は、ウェブブラウザのポップアップ、電子メール、インスタントメッセージ、ソーシャルメディアメッセージ、または当業者には明らかであろうソーシャルメディアアカウントのユーザに情報を伝送するための任意の他のメカニズムを含む、様々な方法で伝送してもよい。ターゲット情報を伝送した後、プロセス２００は終了してもよい。
【００３０】
図３は、本出願の実装例によるソーシャルメディア投稿を前処理するサブプロセス（プログラム）３００のフローチャートを示す。図示したプロセス３００は、デバイス（デバイス１３５など）のプロセッサ（プロセッサ１５５など）によって行われて、収集したソーシャルメディア投稿を前処理してもよい。サブプロセス３００は、図２のプロセス２００のような、ユーザの決定購入ステージを識別するプロセスの一部として使用されてもよい。サブプロセス３００では、ソーシャルメディア投稿を最初にフィルタリングして、３０５でスパム関連の投稿を識別し、除去してもよい。３０５におけるスパムフィルタリングは、以前にスパムコンテンツとして識別されたテキストまたは他のコンテンツ（例えば、以前のスパム投稿で以前に識別された言語または画像）を含む投稿を識別するステップを含んでいてもよい。３０５におけるスパムフィルタリングは、既知のマーケティング会社に関連付けられている、または以前に「スパム」キャンペーンにリンクされているソーシャルメディアアカウントなど、「スパム」ソースとして識別されたユーザ名を調べるステップを含んでいてもよい。「スパム」を表すソーシャルメディア投稿を識別する他の方法は、当業者には明らかであろう。「スパム」として識別された投稿は、更なる分析から取り除かれてもよい。
【００３１】
「スパム」投稿をフィルタリングした後、ソーシャルメディア投稿をクリーニングして、３１０における後続の分析のために標準化してもよい。いくつかの実装例では、スクリプト（例えば、ｔｗｏｋｅｎｉｚｅ  ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｍｙｌｅｏｔｔ／ａｒｋ‐ｔｗｏｋｅｎｉｚｅ‐ｐｙ、ｎｌｔｋ．ｔｏｋｅｎｉｚｅのＴｗｅｅｔＴｏｋｅｎｉｚｅｒなどの一般に入手可能なスクリプト）を使用してトークン化し、ＵＲＬを特別なトークンに置き換えたり、伸長された単語を正規化したり（例えば、「Ｉ  ｌｏｏｏｏｏｏｖｅ  ｔｈｉｓ  ｐｒｏｄｕｃｔ  ｓｏｏｏｏ  ｍｕｃｈ」を「Ｉ  ｌｏｖｅ  ｔｈｉｓ  ｐｒｏｄｕｃｔ  ｓｏ  ｍｕｃｈ」に変換する）など、他の基本的なクリーニングステップを行ってもよい。いくつかの実装例では、このクリーニングは、ユーザまたはサービスプロバイダによって手動で行われてもよい。ソーシャルメディア投稿が前処理されると、残りのソーシャルメディア投稿は３１５の表現生成モデルに供給されてもよく、３１５では下記のように表現を生成するためのサブプロセスが行われ、サブプロセス３００は終了する。
【００３２】
図４は、実装例に従って複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ（例えば、ＡＩＤＢＵＮモデルのステージ）を識別するためのサブプロセス（プログラム）４００を示す。図示したプロセス４００は、デバイス（デバイス１３５など）のプロセッサ（プロセッサ１５５など）によって行われて、複数の収集されたソーシャルメディア投稿の購入決定ステージの識別を提供してもよい。いくつかの実装例では、複数のソーシャルメディア投稿のすべてが同じユーザに関連付けられてもよい。更に、いくつかの実装例では、サブプロセス４００は、図２のプロセス２００のような、ユーザの識別された決定購入ステージに基づいて情報をユーザに向けるプロセスの一部として使用してもよい。
【００３３】
プロセス４００では、４０５において、各ソーシャルメディア投稿からコンテンツ特徴が抽出される。コンテンツ特徴の抽出は、特に限定されず、ビジュアルコンテンツを識別するために、ソーシャルメディア投稿に関連付けられた画像またはビデオに物体認識技術（例えば、物体認識、顔認識、文字認識など）を適用するステップを含んでいてもよい。加えて、ソーシャルメディア投稿に関連付けられたオーディオコンテンツを検出するために、オーディオ認識技術（例えば、オーディオイベント検出、オーディオ特性分類、音声認識など）を使用してもよい。加えて、主題認識アルゴリズムを使用して、テキストコンテンツの主題またはトピックを検出してもよい。また、抽出されたコンテンツ特徴は、キャプチャまたは著者の位置（例えば、ＧＰＳデータなど）または当業者には明らかであろう他のコンテンツ特徴など、コンテンツに関する他のタイプの特徴を含んでいてもよい。抽出されたすべてのコンテンツ特徴は、一連の単語（例えば、各ソーシャルメディア投稿のテキスト記述）に関連付けられていてもよい。
【００３４】
４１０において、各ソーシャルメディア投稿の表現は、各ソーシャルメディア投稿の抽出されたコンテンツ特徴またはテキスト記述に基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴に関連付けられた各単語は、対応する単語埋め込みによって表される。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル（ＷＯＲＤ２ＶＥＣなど）は、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えば、ＴｈｅａｎｏまたはＴｅｎｓｏｒＦｌｏｗなどの深層学習ツール）を使用して新しいデータに適合させてもよい。
【００３５】
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００３６】
いくつかの異なるモデルを使用して、各ソーシャルメディア投稿の表現（例えば、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた一連の単語）をコンピュータ処理してもよい。いくつかの異なるモデルオプションを以下に論じ、図７に示す。
【００３７】
使用されるモデルの一例は、非ニューラルネットワークモデルのための３グラムのｂａｇ−ｏｆ−ｗｏｒｄベクトルであってもよい。この例示的なモデルでは、ソーシャルメディア投稿の埋め込みによって与えられる語彙を使用して、非ニューラルモデル（例えば、サポートベクトルマシン（ＳＶＭ）およびロジスティックリカレント（ＬＲ）、ｂａｇ−ｏｆ−ｗｏｒｄ（ＢＯＷ）ベクトル）をコンピュータ処理してもよい。例えば、１グラム、２グラム、３グラムの入力投稿が挙げられる。
【００３８】
別の例示的なモデルは、単語埋め込みモデルの平均であってもよい。これは、ソーシャルメディア投稿表現を作成するための最も単純なモデルと考えられる。このモデルでは、ソーシャルメディア投稿表現は、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた個々の単語埋め込みを平均化することによって作成される。
【００３９】
別の例示的なモデルは、単語埋め込みモデルの畳み込みであってもよい。このモデルでは、畳み込みニューラルネットワークを使用して、ソーシャルメディア表現タスクを行ってもよい。これは、ソーシャルメディア投稿のコンテンツ特徴に関連付けられた組み合わされた単語に対して、１つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。その後、プーリングを適用して、最も関連性の高いスコアを抽出し、各ソーシャルメディア投稿の固定長の文表現を得てもよい。いくつかの実装例では、プーリングは、ｋ＝３のｋ−ｍａｘプーリングであってもよい。
【００４０】
使用され得る別の例示的なモデルは、単語埋め込みモデルのリカレントネットワークである。このモデルでは、リカレントニューラルネットワークをソーシャルメディア表現タスクに使用してもよい。いくつかの実装例では、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク（ＧＲＵ）を適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層と後方最初の隠れ層（例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する２つの隠れ層）の連結であってもよい。いくつかの実装例では、ＧＲＵが長期の短期記憶として有効であり、より効率的に訓練することができることから、ＧＲＵを使用してもよい。
【００４１】
他の実装例では、単方向ゲートリカレントニューラルネットワーク（ＧＲＵ）を、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層（例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する隠れ層）であってもよい。
【００４２】
これらのモデルに加えて、注目重み付け係数を上記モデルと共に使用して、関連する入力単語または表現に焦点を合わせてもよい。具体的には、モデルが最も関連性の高い入力単語に集中することができるように、注目重み付け係数を使用してネットワークの隠れ層に重みを付けてもよい。入力ｘｉに対して、ソフトマックス層を用いて注目重みαｉを計算する。
【数１】
2018142294.tif 000003
（式１）
【００４３】
ここで、Ｖは、ランダムに初期化され、かつ訓練中に学習した、モデルのパラメータである。
【００４４】
いくつかの実装例では、各隠れ層（前方および後方の隠れ層の連結）に対して重み付け係数を計算し、すべての隠れ層の加重和をソーシャルメディア表現として使用してもよい。上記の式１（式１）を使用して重みを計算する。したがって、ｘｉはｉ番目の隠れ層である。
【００４５】
注目重み付け係数をＣＮＮで使用する場合、プーリング操作を注目重み付けレイヤに置き換えることができ、畳み込み操作の結果は行列に格納される。行列の列ｉは、異なる畳み込みフィルタを文のｉ番目のｎグラムに適用した結果を格納する。したがって、行の数は畳み込みフィルタの数に等しい。各列ｉに対して、重みａｉは、式１に基づいて計算してもよい。したがって、ｘｉは列ｉの値である。次に、重みを使用して、畳み込み結果の加重和を計算する。
【００４６】
注目重み付け係数をＧＲＵと共に使用する場合、各隠れ層（前方および後方の隠れ層の連結）に対して重み付け係数を計算し、すべての隠れ層の加重和を投稿表現として使用してもよい。式１を使用して重みを再計算する。したがって、ｘｉはｉ番目の隠れ層である。
【００４７】
４１５で、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ（例えば、ＡＩＤＢＵＮモデルのクラス）が識別される。４１５では、いくつかの異なる識別モデルを使用してもよい。モデルの実装例を以下の図８に示す。
【００４８】
いくつかの実装例では、各ソーシャルメディア投稿のクラス（例えば、ステージ）は、個別に各ソーシャルメディア投稿に基づいて決定されてもよい。例えば、サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰クラシファイア（ＬＲ）、または隠れ層（ＭＬＰ）を有するフィードフォワードモデルは、各ソーシャルメディア投稿表現に個別に適用されてもよく、各ソーシャルメディア投稿表現は、ＡＩＤＢＵＮクラスの１つに分類されてもよい。これらの実装例では、モデルはすべてのソーシャルメディア投稿を個別に扱い、複数のソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて（例えば、ソーシャルメディア投稿は時系列順に並べられてもよい）、決定購入プロセスにおけるユーザの現在のステージを判定し、またそのステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
【００４９】
他の実装例では、複数のソーシャルメディア投稿は、４１５で分類される前に時間系列に編成されてもよく、分類は、シーケンスモデルに時間系列を供給することによって行われてもよい。例えば、単方向リカレントニューラルネットワーク（ＧＲＵ）を使用して、複数のソーシャルメディア投稿の分類を行ってもよい。単方向リカレントニューラルネットワークを、単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワークがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい（例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など）。これらの訓練済のパターンに基づいて、単方向ＧＲＵは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける１つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた分類または表現に基づいて、各ソーシャルメディア投稿をＡＩＤＢＵＮクラスの１つに分類してもよい。
【００５０】
更に他の実装例では、双方向リカレントニューラルネットワーク（ＧＲＵ）は、ソーシャルメディア投稿のシーケンスにおける時系列的に前および時系列的に後の両方のソーシャルメディア投稿からの情報を使用することによって、ネットワークが入手できる情報を富化するために使用され、各ソーシャルメディア投稿をＡＩＤＢＵＮクラスの１つに分類してもよい。換言すれば、所与のソーシャルメディア投稿（例えば、「中間の投稿」）について、双方向ＧＲＵでは、前の投稿がどのように分類または表現されたか、および後の投稿がどのように分類または表現されているかを調べてもよい。双方向ＧＲＵは、前の投稿および後の投稿の両方の分類または表現に基づいて、所与のソーシャルメディア投稿（例えば、「中間の投稿」）を前の投稿と後の投稿との間で論理的に発生し得るクラスに分類してもよい。例えば、前の投稿が「意識」または「関心がある」と分類され、後の投稿が「望んでいる」と分類される場合、中間の投稿は「関心がある」または「望んでいる」と分類され得るが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」と分類されることは考えにくい。
【００５１】
いくつかの実装例では、使用される複数のソーシャルメディア投稿の収集は、自然に不均衡になることがある。例えば、より多くの投稿が、「購入した」クラスに関する可能性があるよりも「欲求」または「関心」のクラスに関する可能性があり、また、相当量の投稿が「購入決定ステージではない」クラスに関する可能性がある。加えて、多くの投稿が、ＡＩＤＢＵクラスよりも「Ｎ」クラスである。
【００５２】
いくつかの実装例では、不均衡なデータを補償するために、（ソフトマックス出力層と組み合わせた）クロスエントロピー損失および／またはランキング損失（ランキング出力層）のクラス重みを使用してもよい。
【００５３】
例えば、言及が非人工ＡＩＤＢＵクラスである場合、モデルの誤差は、誤分類コストｗ＞１によって重み付け（すなわち、乗算）されてもよい。したがって、モデルは、偽陽性の場合よりも偽陰性についてより多くのペナルティを科される可能性がある。更に、いくつかの実装例では、偽陰性予測の後にパラメータの更新がより重要であるように、この重み付けを勾配降下と組み合わせてもよい。クラスｉの重みｗｉは、以下を用いクラス頻度ｆｉに基づいて計算してもよい。
Ｗｉ＝ｎ／（ｃ*ｆｉ）  （式２）
【００５４】
ｎはサンプルの総数であり、ｃはクラスの数である。その後、「Ｎ」クラスの重みが１になるように重みを正規化する。
【００５５】
更に、いくつかの実装例では、損失関数を使用してもよい。損失関数の実装例は、以下を含んでいてもよい。
【数２】
2018142294.tif 000004
（式３）
【００５６】
式中、ｓθ（ｘ）ｙ+は正しいクラスｙ＋のスコアであり、ｓθ（ｘ）ｃ+は最も競合するクラスｃ−のスコアである。変数ｍ＋およびｍ−はマージンである。関数は、正しいクラスに対してｍ＋より大きいスコアを与え、不正クラスに対してｍ−より小さいスコアを与えることを目的とする。スケーリング係数γは、分類誤差にペナルティを科すのに役立つ。いくつかの実装例では、ｍ＋は２．５であってもよく、ｍ−は０．５であってもよく、γは開発セット上で調整されてもよい。この損失関数は、特定のパターンを学習することが不可能な（本明細書で論じる「Ｎ」クラスのような）人工クラスに適している可能性がある。例えば、ｙ＋＝Ｎの場合、第２被加数のみが評価され得る。試験中に、他のすべてのクラスのスコアが負である場合にのみ、「Ｎ」を予測してもよい。これにより、モデルが非人工クラスに焦点を当てることを可能にしてもよく、損失関数は、「ＡＩＤＢＵ」クラスと「Ｎ」クラスとの間で不均衡なデータを補ってもよい。
【００５７】
４１５で複数のソーシャルメディア投稿を分類した後、サブプロセス４００は終了してもよい。サブプロセス４００が、図２のプロセス２００のような、ユーザの決定購入ステージを識別するプロセスの一部として行われている場合、プロセス２００を上記のように継続してもよい。
【００５８】
図５は、実装例に従って、購入決定ステージ（例えば、ＡＩＤＢＵＮモデルステージ）における複数のソーシャルメディア投稿を識別するための、サブプロセス（プログラム）５００を示す。図示したプロセス５００は、デバイス（デバイス１３５など）のプロセッサ（プロセッサ１５５など）によって行われ、購入決定プロセスステージを識別する。サブプロセス５００のいくつかの態様は、上記のサブプロセス４００の態様と同様であってもよい。このサブプロセスの実装例では、マルチタスク学習を使用して、追加のデータを使用してより堅牢にネットワークパラメータを訓練してもよい。例えば、センチメントデータ、および関連性分類データを使用して、各ソーシャルメディア投稿に関連付けられた決定購入ステージを判定してもよい。いくつかの実装例では、複数のソーシャルメディア投稿のすべてが同じユーザに関連付けられてもよい。更に、いくつかの実装例では、サブプロセス５００は、図２のプロセス２００のような、ユーザの識別された決定購入ステージに基づいて情報をユーザに向けるプロセスの一部として使用されてもよい。
【００５９】
プロセス５００では、５０５において、各ソーシャルメディア投稿からコンテンツ特徴が抽出される。コンテンツ特徴の抽出は、特に限定されず、ビジュアルコンテンツを識別するために、ソーシャルメディア投稿に関連付けられた画像またはビデオに物体認識技術（例えば、物体認識、顔認識、文字認識など）を適用するステップを含んでいてもよい。加えて、ソーシャルメディア投稿に関連付けられたオーディオコンテンツを検出するために、オーディオ認識技術（例えば、オーディオイベント検出、オーディオ特性分類、音声認識など）を使用してもよい。加えて、主題認識アルゴリズムを使用して、テキストコンテンツの主題またはトピックを検出してもよい。また、抽出されたコンテンツ特徴は、キャプチャまたは著者の位置（例えば、ＧＰＳデータなど）または当業者には明らかであろう他のコンテンツ特徴など、コンテンツに関する他のタイプの特徴を含んでいてもよい。抽出されたすべてのコンテンツ特徴は、一連の単語（例えば、各ソーシャルメディア投稿のテキスト記述）に関連付けられていてもよい。５１０において、各ソーシャルメディア投稿のＡＩＤＢＵＮ表現は、抽出されたコンテンツ特徴に基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴に関連付けられた各単語は、対応する単語埋め込みによって表される。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル（ＷＯＲＤ２ＶＥＣなど）は、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えば、ＴｈｅａｎｏまたはＴｅｎｓｏｒＦｌｏｗなどの深層学習ツール）を使用して新しいデータに適合させてもよい。
【００６０】
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００６１】
いくつかの異なるモデルを使用して、各ソーシャルメディア投稿の表現（例えば、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた一連の単語）をコンピュータ処理してもよい。いくつかの異なるモデルオプションを以下に論じ、図７に示す。
【００６２】
使用されるモデルの一例は、非ニューラルネットワークモデルのための３グラムのｂａｇ−ｏｆ−ｗｏｒｄベクトルであってもよい。この例示的なモデルでは、ソーシャルメディア投稿の埋め込みによって与えられる語彙を使用して、非ニューラルモデル（例えば、サポートベクトルマシン（ＳＶＭ）およびロジスティックリカレント（ＬＲ）、ｂａｇ−ｏｆ−ｗｏｒｄ（ＢＯＷ）ベクトル）をコンピュータ処理してもよい。例えば、１グラム、２グラム、３グラムの入力投稿が挙げられる。
【００６３】
別の例示的なモデルは、単語埋め込みモデルの平均であってもよい。これは、ソーシャルメディア投稿表現を作成するための最も単純なモデルと考えられる。このモデルでは、ソーシャルメディア投稿表現は、各ソーシャルメディア投稿のコンテンツ特徴に関連付けられた個々の単語埋め込みを平均化することによって作成される。
【００６４】
別の例示的なモデルは、単語埋め込みモデルの畳み込みであってもよい。このモデルでは、畳み込みニューラルネットワークを使用して、ソーシャルメディア表現タスクを行ってもよい。これは、ソーシャルメディア投稿のコンテンツ特徴に関連付けられた組み合わされた単語に対して、１つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。その後、プーリングを適用して、最も関連性の高いスコアを抽出し、各ソーシャルメディア投稿の固定長の文表現を得てもよい。いくつかの実装例では、プーリングは、ｋ＝３のｋ−ｍａｘプーリングであってもよい。
【００６５】
使用され得る別の例示的なモデルは、単語埋め込みモデルのリカレントネットワークである。このモデルでは、リカレントニューラルネットワークをソーシャルメディア表現タスクに使用してもよい。いくつかの実装例では、ソーシャルメディア投稿のコンテンツ特徴に関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク（ＧＲＵ）を適用してもよい。最後のソーシャルメディア表現は、前方最後の隠れ層と後方最初の隠れ層（例えば、各ソーシャルメディア投稿に関連付けられたすべての単語を参照する２つの隠れ層）の連結であってもよい。いくつかの実装例では、ＧＲＵが長期の短期記憶として有効であり、より効率的に訓練することができることから、ＧＲＵを使用してもよい。
【００６６】
これらのモデルに加えて、注目重み付け係数を上記モデルと共に使用して、関連する入力単語または表現に焦点を合わせてもよい。具体的には、モデルが最も関連性の高い入力単語に集中することができるように、注目重み付け係数を使用してネットワークの隠れ層に重みを付けてもよい。入力ｘｉに対して、ソフトマックス層を用いて注目重みαｉを計算する。
【数３】
2018142294.tif 000005
（式１）
【００６７】
ここで、Ｖは、ランダムに初期化され、かつ訓練中に学習した、モデルのパラメータである。
【００６８】
いくつかの実装例では、各隠れ層（前方および後方の隠れ層の連結）に対して重み付け係数を計算し、すべての隠れ層の加重和をソーシャルメディア表現として使用してもよい。上記の式１（式１）を使用して重みを計算する。したがって、ｘｉはｉ番目の隠れ層である。
【００６９】
注目重み付け係数をＣＮＮで使用する場合、プーリング操作を注目重み付けレイヤに置き換えることができ、畳み込み操作の結果は行列に格納される。行列の列ｉは、異なる畳み込みフィルタを文のｉ番目のｎグラムに適用した結果を格納する。したがって、行の数は畳み込みフィルタの数に等しい。各列ｉに対して、重みａｉは、式１に基づいて計算してもよい。したがって、ｘｉは列ｉの値である。次に、重みを使用して、畳み込み結果の加重和を計算する。
【００７０】
注目重み付け係数をＧＲＵと共に使用する場合、各隠れ層（前方および後方の隠れ層の連結）に対して重み付け係数を計算し、すべての隠れ層の加重和を投稿表現として使用してもよい。式１を使用して重みを再計算する。したがって、ｘｉはｉ番目の隠れ層である。
【００７１】
更に、５１５において、センチメント特有のデータセットを使用して訓練したニューラルネットワーク上のセンチメントモデルを使用して、抽出されたコンテンツ特徴に基づいて、各ソーシャルメディア投稿の別個のセンチメント表現を生成してもよい。例えば、いくつかの実装例では、ソーシャルメディアベースのセンチメントデータセット（ＳｅｍＥｖａｌ  ２０１６センチメント分析共有タスク訓練および開発セットなど）を使用してもよい。センチメントモデルは、各ソーシャルメディア投稿にセンチメント（例えば、ポジティブ、ネガティブ、またはニュートラル）を割り当てて、各ソーシャルメディア投稿のセンチメント表現を生成してもよい。図５では、５１０におけるＡＩＤＢＵＮモデル表現の生成の後に示されているが、センチメント表現の生成は、ＡＩＤＢＵＮモデル表現の生成と並行して、またはそれより前に行われてもよい。
【００７２】
更に、５２０において、関連性特有のデータセットを使用して訓練したニューラルネットワーク上の関連性モデルを使用して、抽出されたコンテンツ特徴に基づいて、各ソーシャルメディア投稿の別個の関連性表現を生成してもよい。例えば、いくつかの実装例では、ソーシャルメディアベースの関連性データセット（Ｓａｋａｋｉ、Ｃｈｅｎ、Ｋｏｒｐｕｓｉｋ、Ｃｈｅｎ．Ｃｏｒｐｕｓ  ｆｏｒ  Ｃｕｓｔｏｍｅｒ  Ｐｕｒｃｈａｓｅ  Ｂｅｈａｖｉｏｒ  Ｐｒｅｄｉｃｔｉｏｎ  ｉｎ  Ｓｏｃｉａｌ  Ｍｅｄｉａ．ＬＲＥＣ  ２０１６のデータ）を使用してもよい。関連性モデルは、各ソーシャルメディア投稿が購入予測に関連するかどうかを判定してもよい。図５では、５１０におけるＡＩＤＢＵＮモデル表現の生成の後に示されているが、関連性表現の生成は、ＡＩＤＢＵＮモデル表現の生成と並行して、またはそれより前に行われてもよい。
【００７３】
５２５では、各ソーシャルメディア投稿の表現（ＡＩＤＢＵＮ表現、センチメント表現、および関連性表現）が生成された後、複数のソーシャルメディア投稿の各々に関連付けられた購入決定ステージ（例えば、ＡＩＤＢＵＮモデルのクラス）が識別される。５２５では、いくつかの異なる分類子モデルを使用してもよい。分類子モデルの実装例を以下の図８に示す。
【００７４】
いくつかの実装例では、各ソーシャルメディア投稿のクラス（例えば、ステージ）は、個別に各ソーシャルメディア投稿に基づいて決定されてもよい。例えば、サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰分類子（ＬＲ）、またはフィードフォワード隠れ層（ＭＬＰ）は、各ソーシャルメディア投稿表現に個別に適用されてもよく、各ソーシャルメディア投稿表現は、ＡＩＤＢＵＮクラスの１つに分類されてもよい。これらの実装例では、モデルはすべてのソーシャルメディア投稿を個別に扱い、複数のソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて（例えば、ソーシャルメディア投稿は時系列順に並べることができる）、決定購入プロセスにおけるユーザの現在のステージを判定し、またそのステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
【００７５】
他の実装例では、複数のソーシャルメディア投稿は、５２５で分類される前に時間系列に編成されてもよく、分類は、シーケンスモデルに時間系列を供給することによって行われてもよい。例えば、単方向リカレントニューラルネットワーク（ＧＲＵ）を使用して、複数のソーシャルメディア投稿の分類を行ってもよい。単方向リカレントニューラルネットワークを、単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワークがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい（例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など）。これらの訓練済のパターンに基づいて、単方向ＧＲＵは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける１つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた分類または表現に基づいて、各ソーシャルメディア投稿をＡＩＤＢＵＮクラスの１つに分類してもよい。
【００７６】
更に他の実装例では、双方向リカレントニューラルネットワーク（ＧＲＵ）は、ソーシャルメディア投稿のシーケンスにおける時系列的に前および時系列的に後の両方のソーシャルメディア投稿からの情報を使用することによって、ネットワークが入手できる情報を富化するために使用され、各ソーシャルメディア投稿をＡＩＤＢＵＮクラスの１つに分類してもよい。換言すれば、所与のソーシャルメディア投稿（例えば、「中間の投稿」）について、双方向ＧＲＵでは、前の投稿がどのように分類または表現されたか、および後の投稿がどのように分類または表現されているかを調べてもよい。双方向ＧＲＵは、前の投稿および後の投稿の両方の分類または表現に基づいて、所与のソーシャルメディア投稿（例えば、「中間の投稿」）を前の投稿と後の投稿との間で論理的に発生し得るクラスに分類してもよい。例えば、前の投稿が「意識」または「関心がある」と分類され、後の投稿が「望んでいる」と分類された場合、中間の投稿は「関心がある」または「望んでいる」と分類される可能性はあるが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」とは分類されない。
【００７７】
いくつかの実装例では、使用される複数のソーシャルメディア投稿の収集は、自然に不均衡になることがある。例えば、より多くの投稿が、「購入した」クラスに関する可能性があるよりも「欲求」または「関心」のクラスに関する可能性があり、また、相当量の投稿が「購入決定ステージではない」クラスに関する可能性がある。
【００７８】
いくつかの実装例では、不均衡なデータを補償するために、（ソフトマックス出力層と組み合わせた）クロスエントロピー損失および／またはランキング損失（ランキング出力層）のクラス重みを使用してもよい。
【００７９】
例えば、言及が非人工ＡＩＤＢＵクラスである場合、モデルの誤差は、誤分類コストｗ＞１によって重み付け（すなわち、乗算）されてもよい。したがって、モデルは、偽陽性の場合よりも偽陰性についてより多くのペナルティを科される可能性がある。更に、いくつかの実装例では、偽陰性予測の後にパラメータの更新がより重要であるように、この重み付けを勾配降下と組み合わせてもよい。クラスｉの重みｗｉは、以下を用いクラス頻度ｆｉに基づいて計算してもよい。
Ｗｉ＝ｎ／（ｃ*ｆｉ）  （式２）
【００８０】
ｎはサンプルの総数であり、ｃはクラスの数である。その後、「Ｎ」クラスの重みが１になるように重みを正規化する。
【００８１】
更に、いくつかの実装例では、損失関数を使用してもよい。損失関数の実装例は、以下を含んでいてもよい。
【数４】
2018142294.tif 000006
（式３）
【００８２】
式中、ｓθ（ｘ）ｙ+は正しいクラスｙ＋のスコアであり、ｓθ（ｘ）ｃ+は最も競合するクラスｃ−のスコアである。変数ｍ＋およびｍ−はマージンである。関数は、正しいクラスに対してｍ＋より大きいスコアを与え、不正クラスに対してｍ−より小さいスコアを与えることを目的とする。スケーリング係数γは、分類誤差にペナルティを科すのに役立つ。いくつかの実装例では、ｍ＋は２．５であってもよく、ｍ−は０．５であってもよく、γは開発セット上で調整されてもよい。この損失関数は、特定のパターンを学習することが不可能な（本明細書で論じる「Ｎ」クラスのような）人工クラスに適している可能性がある。例えば、ｙ＋＝Ｎの場合、第２被加数のみが評価され得る。試験中に、他のすべてのクラスのスコアが負である場合にのみ、「Ｎ」を予測してもよい。これにより、モデルが非人工クラスに焦点を当てることを可能にしてもよく、損失関数は、「ＡＩＤＢＵ」クラスと「Ｎ」クラスとの間で不均衡なデータを補ってもよい。
【００８３】
マルチタスク学習のために、センチメント分類のためのニューラルネットワークおよび関連性分類のためのニューラルネットワークは、図８に関して以下に説明するＡＩＤＢＵＮ表現ネットワークの入力からのすべての層を共有してもよい。次に、ソーシャルメディア表現は、センチメントタスクおよび関連性タスクに特有の分類を行う、個々のセンチメントタスク特有のソフトマックス層および関連性タスク特有のソフトマックス層に供給されてもよい。いくつかの実装例では、センチメント分類および関連性特有の分類のためのニューラルネットワークの訓練の順序付けは、センチメントまたは関連性分類のために１バッチのデータで行われ、その後ＡＩＤＢＵＮメインタスクのために２バッチのデータで行われてもよい。各ステップでは、第２のタスクがランダムに選択されてもよい。他の実装例では、第２のタスクは常に同じタスクであってもよい。
【００８４】
センチメントおよび関連性分類を組み合わせた分類を使用して、５１０で生成されたＡＩＤＢＵＮ表現に基づいて判定されたＡＩＤＢＵＮ分類を洗練させてもよい。
【００８５】
５２５で複数のソーシャルメディア投稿を分類した後、サブプロセス５００は終了してもよい。サブプロセス５００が、図２のプロセス２００のような、ユーザの決定購入ステージを識別するプロセスの一部として行われている場合、プロセス２００は上記のように継続してもよい。
【００８６】
図６は、実装例による、階層的ニューラルネットワークに基づく購入識別モデル６００の概略図を示す。図示のように、モデルは、複数のソーシャルメディア投稿６０５ａ／６０５ｂを入力として有する。いくつかの実装例では、ソーシャルメディア投稿は、マイクロブログソーシャルメディア環境への投稿であってもよい。例えば、限定はしないが、マイクロブログは、Ｔｗｉｔｔｅｒ（登録商標）、Ｔｕｍｂｌｒ、Ｔｏｕｔ、Ｔｅｎｃｎｅｔ  Ｗｅｉｂｏまたは当業者に明らかであろう他のマイクロブログプラットフォームを含んでもよい。しかし、ソーシャルメディア投稿の実装例は、マイクロブログに限定されず、当業者には明らかであろう任意のタイプのソーシャルメディア投稿でもよい。
【００８７】
各ソーシャルメディア投稿６０５ａ、６０５ｂは、図４および図５に関して上述したように、抽出することができる複数の単語またはコンテンツ特徴６１０ａ／６１０ｂ／６１０ｃ／６１０ｄで構成されてもよい。図６にはコンテンツ特徴または単語が２つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が２より大きい数、抽出されてもよい。特徴埋め込み６１５ａ／６１５ｂ／６１５ｃ／６１５ｄは、各コンテンツ特徴６１０ａ／６１０ｂ／６１０ｃ／６１０ｄに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴６１０ａ／６１０ｂ／６１０ｃ／６１０ｄに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデルは、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えばｗｏｒｄ２ｖｅｃ）を使用して訓練されてもよい。いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００８８】
各投稿６０５ａ、６０５ｂに関連付けられた特徴埋め込み６１５ａ／６１５ｂ／６１５ｃ／６１５ｄは、投稿表現モデル６２０ａ／６２０ｂに適用されて、各ソーシャルメディア投稿のソーシャルメディア投稿表現６２５ａ／６２５ｂを生成してもよい。投稿表現モデル６２０ａ／６２０ｂの実装例が、以下の図７に示されている。
【００８９】
各ソーシャルメディア投稿のソーシャルメディア投稿表現６２５ａ／６２５ｂは、共有購入ステージモデル６３０に供給されてもよく、共有購入ステージモデル６３０は、受信した各ソーシャルメディア投稿表現６２５ａ／６２５ｂに基づいて、購入ステージ出力６３５ａ／６３５ｂを生成する。共有購入ステージモデル６３０の実装例が、以下の図８に示されている。
【００９０】
図７は、例示的な実施形態による、ソーシャルメディア投稿７０５ａ／７０５ｂ／７０５ｃの表現を生成するために使用されてもよい、異なるモデル７００ａ／７００ｂ／７００ｃの概略図を示す。実装例は、これらのモデルに限定されず、他のモデルは当業者には明らかであろう。
【００９１】
モデル７００ａは、単語埋め込みモデルの平均として示されている。このモデルでは、各投稿７０５ａは、コンテンツの単語または特徴７１０ａ／７１０ｂに分割される。コンテンツ特徴または単語が２つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が２より大きい数抽出されてもよい。特徴埋め込み７０５ａは、各コンテンツ特徴または単語７１０ａ／７１０ｂに基づいて生成されてもよい。例えば、抽出されたコンテンツ特徴７１０ａ／７１０ｂに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル（ＷＯＲＤ２ＶＥＣなど）は、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えば、ＴｈｅａｎｏまたはＴｅｎｓｏｒＦｌｏｗなどの深層学習ツール）を使用して新しいデータに適合させてもよい。
【００９２】
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００９３】
投稿７０５ａの各単語または特徴７１０ａ／７１０ｂについて埋め込み７１５ａが生成されると、埋め込み７１５ａを平均化関数７２０ａに入力して、ソーシャルメディア投稿７０５ａの個々の単語または特徴７１０ａ／７１０ｂの埋め込み７１５ａを平均化することによって、ソーシャルメディア投稿表現７２５ａを作成することができる。
【００９４】
モデル７００ｂは、単語埋め込みモデルの畳み込みとして示されている。このモデルでは、各投稿７０５ｂはコンテンツの単語または特徴７１０ｃ／７１０ｄに分割される。コンテンツ特徴または単語が２つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が２より大きい数抽出されてもよい。特徴埋め込み７１５ｂは、各コンテンツ特徴または単語７１０ｃ／７１０ｄに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴７１０ｃ／７１０ｄに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル（ＷＯＲＤ２ＶＥＣなど）は、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えば、ＴｈｅａｎｏまたはＴｅｎｓｏｒＦｌｏｗなどの深層学習ツール）を使用して新しいデータに適合させてもよい。
【００９５】
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００９６】
投稿７０５ｂの各単語または特徴７１０ｃ／７１０ｄについて埋め込み７１５ｂが生成されると、埋め込み７１５ｂを畳み込みニューラルネットワーク７２０ｂに入力して、ソーシャルメディア投稿表現７２５ｂを作成することができる。これは、ソーシャルメディア投稿７０５ｂのコンテンツ特徴７１０ｃ／７１０ｄに関連付けられた埋め込み７１５ｂに対して、１つ以上の畳み込みフィルタを適用するステップを含んでいてもよい。加えて、いくつかの実装例では、注目（ａ）重み係数７２２ａを使用して、関連する入力特徴７１０ｃ／７１０ｄに焦点を当ててもよい。注目（ａ）重み係数の使用については、図４および図５に関して上記で詳しく述べられている。
【００９７】
モデル７００ｃは、単語埋め込みモデルのリカレントネットワークとして示されている。このモデルでは、各投稿７０５ｃはコンテンツの単語または特徴７１０ｅ／７１０ｆに分割される。コンテンツ特徴または単語が２つのみ示されているが、いくつかの実装例では、各投稿からコンテンツ特徴または単語が２つより大きい数抽出されてもよい。特徴埋め込み７１５ｃは、各コンテンツ特徴または単語７１０ｅ／７１０ｆに基づいて生成されてもよい。例えば、いくつかの実装例では、抽出されたコンテンツ特徴７１０ｅ／７１０ｆに関連付けられた各単語は、対応する単語埋め込みによって表現されてもよい。認識されない単語はスキップされてもよい。いくつかの実装例では、単語埋め込みモデル（ＷＯＲＤ２ＶＥＣなど）は、単語コンテンツのコーパス（例えば、ニュースソース、ソーシャルメディアソースなど）に適用されている既存のツール（例えば、ＴｈｅａｎｏまたはＴｅｎｓｏｒＦｌｏｗなどの深層学習ツール）を使用して新しいデータに適合させてもよい。
【００９８】
いくつかの実装例では、埋め込み辞書アルゴリズムの語彙は、ニューラルネットワークのコンピュータ処理時間を短縮するために、特定の語彙サイズ（例えば、１００，０００語）に制限されていてもよい。
【００９９】
投稿７０５ｃの各単語または特徴７１０ｅ／７１０ｆについて埋め込み７１５ｃが生成されると、埋め込み７１５ｃをリカレントニューラルネットワーク７２０ｃに入力して、ソーシャルメディア投稿表現７２５ｃを作成することができる。これは、ソーシャルメディア投稿７０５ｃのコンテンツ特徴７１０ｅ／７１０ｆに関連付けられたワードシーケンスに、双方向ゲートリカレントニューラルネットワーク（ＧＲＵ）を適用するステップを含んでいてもよい。最後のソーシャルメディア表現７２５ｃは、前方最後の隠れ層と後方最初の隠れ層（例えば、ソーシャルメディア投稿に関連付けられたすべての単語を参照する２つの隠れ層）の連結であってもよい。いくつかの実装例では、ＧＲＵは長期の短期記憶として有効であり、より効率的に訓練することができることから、ＧＲＵを使用してもよい。加えて、いくつかの実装例では、注目（ａ）重み係数７２２ｂを使用して、関連する入力特徴７１０ｅ／７１０ｆに焦点を当てることができる。注目（ａ）重み係数の使用については、図４および図５に関して上記で詳しく述べられている。
【０１００】
図８は、実装例に従って、ソーシャルメディア投稿の表現８０５ａ／８０５ｂ／８０５ｃ／８０５ｄ／８０５ｅ／８０５ｆ／８０５ｇに基づいて、ソーシャルメディア投稿を購入決定ステージへと識別するために使用されてもよい異なるモデル８００ａ／８００ｂ／８００ｃの概略図を示す。実装例は、これらのモデルに限定されず、他のモデルは当業者には明らかであろう。
【０１０１】
モデル８００ａは、各ソーシャルメディア投稿に個別に基づいて各ソーシャルメディア投稿のクラスを識別することができるモデルとして示されている。このモデルの例は、サポートベクターマシン（ＳＶＭ）、ロジスティック回帰分類子（ＬＲ）、またはフィードフォワード隠れ層（ＭＬＰ）を含んでいてもよい。モデル８００ａにおいて、各ソーシャルメディア投稿表現８０５ａ／８０５ｂは、識別子８１０ａ（例えば、サポートベクトルマシン（ＳＶＭ）、ロジスティック回帰クラシファイア（ＬＲ）、またはフィードフォワード隠しレイヤ（ＭＬＰ））に個別に供給される。次に、識別子８１０ａは、各投稿表現８０５ａ／８０５ｂを分析する。２つのコンテンツ投稿表現８０５ａ／８０５ｂのみが示されているが、いくつかの実装例では、２より大きい数の投稿表現８０５ａ／８０５ｂが識別子８１０ａに供給されてもよい。
【０１０２】
識別子８１０ａは、各投稿表現８０５ａ／８０５ｂに個別に基づいて、ＡＩＤＢＵＮクラス出力８１５ａおよび８１５ｂを生成する。したがって、モデル８００ａは、すべてのソーシャルメディア投稿を個別に扱い、ソーシャルメディア投稿間のパターンを学習しない。しかし、各ソーシャルメディア投稿が個別に分類された後、ソーシャルメディア投稿を時間系列に並べて（例えば、ソーシャルメディア投稿は時系列順に並べることができる）、決定購入プロセスにおけるユーザの現在のステージを判定し、またいくつかの実装例においてステージを通じてユーザの進捗を判定してもよい。例えば、ユーザが最初に関心を持ったのはいつか、関心が欲求になったのはいつか、ユーザが既に製品を購入したかどうかなどが挙げられる。
【０１０３】
モデル８００ｂは、前の投稿（例えば、８０５ｃ／８０５ｄ）からの情報を使用して、複数のソーシャルメディア投稿表現８０５ｃ／８０５ｄ／８０５ｅを時系列順に識別するために使用されて、後に発生する投稿（例えば、８０５ｄ／８０５ｅ）の識別を支援してもよい単方向リカレントニューラルネットワーク（ＧＲＵ）として示されている。図示のように、複数のソーシャルメディア投稿表現８０５ｃ／８０５ｄ／８０５ｅは、表現８０５ｃ／８０５ｄ／８０５ｅを順に分析する、識別子８１０ｂに供給される。３つのコンテンツ投稿表現８０５ｃ／８０５ｄ／８０５ｅのみが示されているが、いくつかの実装例では、３より大きい数の投稿表現８０５ｃ／８０５ｄ／８０５ｅが識別子８１０ｂに供給されてもよい。モデル８００ｂの単方向リカレントニューラルネットワークでは、識別子８１０ｂを単一ユーザに関連付けられたソーシャルメディア投稿で訓練して、単方向リカレントニューラルネットワーク識別子８１０ｂがソーシャルメディア投稿間のパターンを学習することを可能にしてもよい（例えば、「ユーザは、購入する前に、まず製品に関心を示す可能性があるが、関心を持つ前に製品を購入したことを示すとは考えにくい」など）。これらの訓練済のパターンに基づいて、単方向ＧＲＵ識別子８１０ｂは、生成された各ソーシャルメディア投稿の表現、およびソーシャルメディア投稿のシーケンスにおける１つ以上の時系列的に前のソーシャルメディア投稿に関連付けられた表現に基づいて、表現８０５ｃ／８０５ｄ／８０５ｅの各々に関連付けられたＡＩＤＢＵＮクラスの１つを識別する、個別の出力８１５ｃ／８１５ｄ／８１５ｅを生成してもよい。
【０１０４】
モデル８００ｃは、ソーシャルメディア投稿のシーケンス内の時系列的に前および時系列的に後のソーシャルメディア投稿の両方からの情報を使用して、時系列順に複数のソーシャルメディア投稿表現８０５ｆ／８０５ｇ／８０５ｅに基づいて、購入ステージを識別する、双方向リカレントニューラルネットワーク（ＧＲＵ）として示されている。図示のように、複数のソーシャルメディア投稿表現８０５ｆ／８０５ｇ／８０５ｈは、表現８０５ｆ／８０５ｇ／８０５ｈを順に分析する、識別子８１０ｃに供給される。３つのコンテンツ投稿表現８０５ｆ／８０５ｇ／８０５ｈのみが示されているが、いくつかの実装例では、３つの投稿表現８０５ｆ／８０５ｇ／８０５ｈより多い投稿表現が識別子８１０ｃに供給されてもよい。モデル８００ｃの双方向リカレントニューラルネットワークにおいて、識別子８１０ｃは、所与のソーシャルメディア投稿（例えば、「中間の投稿」８０５ｇ）について、少なくとも１つの前の投稿（８０５ｆ）の表現がどのようであるか、および少なくとも１つの後の投稿（８０５ｇ）の表現がどのように分類されているか（例えば識別された決定購入ステージ）を調べる。双方向ＧＲＵ識別子８１０ｃは、前の投稿および後の投稿の両方に関連付けられて識別された購入ステージに基づいて、所与のソーシャルメディア投稿（例えば、「中間の投稿」）に関連付けられた購入ステージを、前の投稿８０５ｆと後の投稿８０５ｈの間で論理的に発生し得るステージとして、識別してもよい。例えば、前の投稿が「意識」または「関心がある」ステージに関連付けられ、後の投稿に関連付けられるステージが「望んでいる」と識別される場合、中間の投稿に関連付けられるステージは「関心がある」または「望んでいる」と識別される可能性はあるが、ユーザは欲求を示す前に製品を購入したとは考えにくいため、「購入した」とは識別されない。識別子８１０ｃの識別は、各表現８０５ｆ／８０５ｇ／８０５ｈに基づいて、別個の出力８１５ｆ／８１５ｇ／８１５ｈとして出力してもよい。
【０１０５】
実装例の評価
【０１０６】
評価データセット
【０１０７】
３つのモバイルデバイス（例えば電話、タブレット、スマートウォッチ）のうちの１つを挙げたユーザのマイクロブログ投稿を収集して、スパムを事前にフィルタリングした（図３参照）。フィルタリングの後、評価に使用するために３０００人のユーザをランダムに選出し、マイクロブログ記事に２人の注釈者によってＡＩＤＢＵＮモデルのための注釈を付けた。注釈プロセスをスピードアップするために、ユーザのマイクロブログ投稿を分類して、「Ｎ」である確率が非常に高いものを識別し、注釈者がそれらにラベルを付ける必要がないようにした。クラス分布は、Ａ＝０．２３％、Ｉ＝０．６５％、Ｄ＝１．１１％、Ｂ＝０．９０％、Ｕ＝０．５０％およびＮ＝９６．６１％であると判定された。加えて、Ａラベルは非常に少なかったため、ＡラベルをＮラベルにマッピングし、モデルはＡラベルを識別するように訓練しなかった。
【０１０８】
評価中、モデルへの入力は、ユーザに関連付けられた時間順のマイクロブログ投稿シーケンスであった。各マイクロブログ投稿を前処理して、単語の伸長および矛盾したトークン化のようなマイクロブログ特有のノイズを除去した（例えば、図３で説明したようにクリーニングした）。
【０１０９】
評価実験
【０１１０】
以下の表１は、コンテキスト関連付けを使用した、および使用しなかったニューラルおよび非ニューラルマイクロブログ表現およびマイクロブログモデルを示す。加えて、異なる損失関数を比較した。
【０１１１】
図示のように、クラス重みを追加するとＳＶＭモデルに有用となり得る一方で、損失関数としてランキングを使用すると、クラス重みよりもニューラルモデルに役立つ可能性があることが観察された。加えて、試験セットでは単方向ＧＲＵが双方向ＧＲＵより優れていることが観察される。更に、双方向ＧＲＵは、前方ならびに後方を調べることができるより強力なモデルであり得るが、訓練するためにより多くのパラメータも必要とする。しかし、より多くの訓練データを用いれば、いくつかの実装例において双方向ＧＲＵは単方向ＧＲＵより優れている場合がある。加えて、ニューラルモデルはＳＶＭより優れている場合がある。更に、双方向ＧＲＵ＋注目モデルは、注目のない双方向ＧＲＵモデルより優れている場合があることが観察された。
【表１】
2018142294.tif 000007
【０１１２】
以下の表２は、上記両方のニューラルマイクロブログ表現モデルにおけるマルチタスク学習の結果を示す。ここでもまた、双方向ＧＲＵ投稿シーケンスモデルを使用し、訓練中の第２のタスクとしてセンチメント分析、関連性分類、またはその両方を追加した。マクロＦ１スコアに加えて、クラスごとのＦ１スコアも評価し、マルチタスク学習によってどのクラスが最も改善されるかを調べた。図示のように、センチメント分析は主に「Ｕ」クラスに役立つ可能性があり、「Ｕ」クラスは、否定的なセンチメントを伴う唯一のクラスであるためこれは妥当である。加えて、関連性分類は、データが最も少ない２つのクラスである「Ｉ」と「Ｕ」を特に改善する可能性がある。
【０１１３】
マルチタスク学習はパフォーマンスを向上させる場合があるが、第２のタスクとしてセンチメント分析および関連性分類の両方を使用しても、更なる改善にはつながらなかった。この原因として、各バッチについて、第２のタスクのうち両方ではなく１つが使用されるため（センチメント分析または関連性分析がランダムに選択された）、異なるタスクの十分な例をネットワークが参照しないことがある。
【表２】
2018142294.tif 000008
【０１１４】
以下の表３は、単方向ＧＲＵシーケンスモデルを用いたＣＮＮ投稿表現の混同行列を示す。クラスの不均衡に起因する可能性が高い「Ｎ」クラスの混同を別にして、モデルは主に「Ｉ」および「Ｄ」、または「Ｄ」および「Ｂ」のような隣接するラベルを混同する。合計で、混同の９０％以上が「Ｎ」クラスを含む。これは、モデルが購入ステージを区別する上で合理的に優れている可能性があり、また主な困難はクラスの不均衡である可能性があることを示し得る。
表３：ＣＮＮ投稿表現および単方向ＧＲＵシーケンスモデルの試験セットにおける混同行列
【表３】
2018142294.tif 000009
【０１１５】
上記の評価では、モバイル製品に関する投稿を使用してモデルを訓練した。別の製品カテゴリに対するモデルの適用性を調べるために、自動車についての投稿の小さいセットも収集した。マイクロブログのユーザは製品固有の用語を使用することが多いため（例えば、ユーザは「ＸＸを運転するまでは止まらない」で欲求を表す）、訓練済モデルを新しい製品カテゴリに適応させるとドメイン適応の問題が生じる場合がある。評価のために、自動車への投稿を訓練セットと試験セットに分け、自動車の訓練セットのみで新しいモデルを訓練する場合と、以前のモデルを自動車のドメインで再訓練する場合の、様々なパフォーマンスを調査した。
【０１１６】
下記の表４は、自動車への投稿を調査した結果を示す。ニューラルネットワークの場合、自動車の訓練セットでモデルを再訓練すると、大差で最良のパフォーマンスが得られる可能性がある。この設定では、双方向ＧＲＵシーケンスモデルが単方向ＧＲＵより優れている可能性がある。また、再訓練されたニューラルネットワークは、明らかにＳＶＭより優れている可能性がある。これらの所見は、ニューラルネットワークが、購入ステージを示す信号を捕捉することができ、より多くの訓練データを有する従来のモデルよりも優れている可能性があることを示し得る。
【表４】
2018142294.tif 000010
【０１１７】
コンピューティング環境の例
【０１１８】
図９は、いくつかの実装例の使用に適した例示的なコンピューティングデバイス９０５を有する例示的なコンピューティング環境９００を示す。コンピューティング環境９００内のコンピューティングデバイス９０５は、１つ以上の処理ユニット、コア、またはプロセッサ９１０、メモリ９１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ９２０（例えば、磁気、光学、固体ストレージ、および／または有機ストレージ）、および／またはＩ／Ｏインターフェース９２５を含むことができ、これらのうちの任意のものは、通信機構またはバス９３０上で結合されて、情報を通信するか、またはコンピューティングデバイス９０５に埋め込むことができる。
【０１１９】
コンピューティングデバイス９０５は、入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０に通信可能に結合することができる。入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０の一方または両方は、有線または無線インターフェースであってもよく、取り外し可能であってもよい。入力／ユーザインターフェース９３５は、入力（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロホン、カメラ、点字、モーションセンサ、光学式リーダなど）を提供するために使用することができる任意のデバイス、コンポーネント、センサ、またはインターフェース、フィジカルまたはバーチャルを含んでいてもよい。出力デバイス／インターフェース９４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでいてもよい。いくつかの実装例では、入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０は、コンピューティングデバイス９０５に埋め込まれるか、または物理的に結合され得る。他の実装例では、他のコンピューティングデバイスは、コンピューティングデバイス９０５のための入力／ユーザインターフェース９３５および出力デバイス／インターフェース９４０として機能するか、または機能を提供することができる。
【０１２０】
コンピューティングデバイス９０５の例には、限定されるものではないが、高度モバイルデバイス（例えば、スマートフォン、車両および他の機械のデバイス、人間および動物が携行するデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および携帯用に設計されていないデバイス  （例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、１つ以上のプロセッサが埋め込まれたおよび／または結合されたテレビ、ラジオなど）が含まれてもよい。
【０１２１】
コンピューティングデバイス９０５は、外部ストレージ９４５およびネットワーク９５０に（例えば、Ｉ／Ｏインターフェース９２５を介して）通信可能に結合され、同じ構成または異なる構成の１つ以上のコンピューティングデバイスを含む、任意の数のネットワークされたコンポーネント、デバイス、およびシステムと通信することができる。コンピューティングデバイス９０５または任意の接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、一般機械、特殊用途の機械、または別のラベルとして機能するか、サービスを提供するか、またはこれらとして参照することができる。
【０１２２】
Ｉ／Ｏインターフェース９２５は、コンピューティング環境９００内の少なくともすべての接続されたコンポーネント、デバイス、ネットワーク間で情報を通信するために、限定されるものではないが任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができる。ネットワーク９５０は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。
【０１２３】
コンピューティングデバイス９０５は、一時的な媒体および非一時的な媒体を含むコンピュータ使用可能媒体またはコンピュータ可読媒体を使用および／または使用して通信することができる。一時的な媒体には、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一時的な媒体には、磁気媒体（例えば、ディスクおよびテープ）、光媒体（例えば、ＣＤ‐ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体ストレージ）、および他の不揮発性ストレージまたはメモリが含まれる。
【０１２４】
コンピューティングデバイス９０５は、いくつかの例示的コンピューティング環境では、技法、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一時的な媒体から取り出して、非一時的な媒体に記憶し、非一時的な媒体から取り出すことができる。実行可能命令は、任意のプログラミング、スクリプティングおよび機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１つ以上に由来することができる。
【０１２５】
プロセッサ９１０は、ネイティブ環境またはバーチャル環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット９５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット９６０、入力ユニット９６５、出力ユニット９７０、投稿収集ユニット９７５、前処理ユニット９８０、購入ステージ分類ユニット９８５、情報伝送ユニット９９０、およびユニット間通信機構９９５を含む、１つ以上のアプリケーションを利用して、異なるユニットが互いと、ＯＳと、および他のアプリケーション（図示せず）と通信することができる。例えば、投稿収集ユニット９７５、前処理ユニット９８０、購入ステージ分類ユニット９８５、情報伝送ユニット９９０は、図２〜図５に示す１つ以上のプロセスを実現してもよい。説明したユニットおよび要素は、設計、機能、構成、または実装において変更可能であり、提供された説明に限定されない。
【０１２６】
いくつかの実装例では、情報または実行命令がＡＰＩユニット９６０によって受信されると、１つ以上の他のユニット（例えば、論理ユニット９５５、入力ユニット９６５、出力ユニット９７０、投稿収集ユニット９７５、前処理ユニット９８０、購入ステージ分類ユニット９８５、情報伝送ユニット９９０）に通信されてもよい。例えば、投稿収集ユニット９７５が入力ユニット９６５を介してソーシャルメディア投稿を収集すると、投稿収集ユニット９７５は、収集した投稿を前処理ユニット９８０に供給してもよい。投稿が前処理ユニット９８０によって前処理されると、投稿は、購入ステージ分類ユニット９８５に供給されて、分類される。情報伝送ユニット９９０は、購入ステージ分類ユニット９８５による購入ステージ分類に基づいて、出力ユニット９７０を用いて、参照製品に関する情報を伝送してもよい。
【０１２７】
場合によっては、上記のいくつかの実装例において、論理ユニット９５５は、ユニット間の情報フローを制御し、ＡＰＩユニット９６０、入力ユニット９６５、出力ユニット９７０、投稿収集ユニット９７５、前処理ユニット９８０、購入ステージ分類ユニット９８５、および情報伝送ユニット９９０によって提供されるサービスを指揮してもよい。例えば、１つ以上のプロセスまたは実装のフローは、論理ユニット９５５のみによって、またはＡＰＩユニット９６０と連携して、制御されてもよい。
【０１２８】
いくつかの実装例が示され、説明されているが、これらの実装例は、この分野に精通した人々に本明細書で説明した主題を伝えるために提供されている。本明細書で説明した主題は、説明した実装例に限定されることなく、様々な形態で実装されてもよいことを理解されたい。本明細書で説明した主題は、具体的に定義されたもの、または説明事項、または説明されていない他のまたは異なる要素または事項を用いて実行することができる。この分野に精通した者であれば、添付の特許請求の範囲に規定された本明細書で説明した主題から逸脱することなく、これらの実装例およびその等価物に変更を行うことができることを理解するであろう。
【０１２９】
加えて、本出願の実装例は、ソーシャルメディア環境のコンテキストで論じられているが、実装例はこのコンテキストに限定されず、当業者には明らかである１人以上のユーザによって共有される任意のデジタルまたはウェブ対応掲示板環境で使用されてもよい。例えば、いくつかの実装例は、従業員または請負業者によって会社内でアクセス可能であり顧客によってもアクセス可能であるが、他の外部ユーザからは非公開の、安全なデジタル掲示板を含んでいてもよい。他の実装例は、ユーザが製品に関する問題に関して投稿し、リアルタイムまたは時間シフトされた（例えば、遅延した）顧客サポートを受けることを可能にする、オンライン顧客サービスセンターを含んでいてもよい。
【図１】
2018142294.tif 000011
【図２】
2018142294.tif 000012
【図３】
2018142294.tif 000013
【図４】
2018142294.tif 000014
【図５】
2018142294.tif 000015
【図６】
2018142294.tif 000016
【図７】
2018142294.tif 000017
【図８】
2018142294.tif 000018
【図９】
2018142294.tif 000019