(57)【要約】      （修正有）【課題】ユーザの投稿情報に基づいて、そのユーザの購買行動段階を良好に判定する情報処理方法及び情報処理装置を提供する。【解決手段】本発明の情報処理方法は、ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報と画像情報を含む投稿情報を取得する投稿情報取得ステップと、テキスト情報および画像情報を符号化する符号化ステップと、符号化されたテキスト情報および画像情報に同一の学習モデルを適用して特徴量を抽出する特徴抽出ステップと、特徴量に基づいて、ユーザが商品またはサービスについての購買行動のいずれの段階にあるかを判定する判定ステップとを有する。【選択図】図３
2020052463.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報と画像情報を含む投稿情報を取得する投稿情報取得ステップと、
前記テキスト情報および前記画像情報を符号化する符号化ステップと、
符号化された前記テキスト情報および前記画像情報に同一の学習モデルを適用して特徴量を抽出する特徴抽出ステップと、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを判定する判定ステップと、
を有することを特徴とする情報処理方法。
【請求項２】
前記符号化ステップでは、前記テキスト情報に含まれる文字列を１文字ずつ符号化することを特徴とする請求項１に記載の情報処理方法。
【請求項３】
前記符号化ステップでは、前記テキスト情報に含まれる文字列を、Ｕｎｉｃｏｄｅ規格に対応した符号化方式によって符号化する
ことを特徴とする請求項２に記載の情報処理方法。
【請求項４】
前記特徴抽出ステップで用いられる前記学習モデルは、文字レベル畳み込みニューラルネットワークにより生成されたものである
ことを特徴とする請求項１ないし３のいずれか１項に記載の情報処理方法。
【請求項５】
特徴抽出ステップで用いられる前記学習モデルは、前記テキスト情報に含まれる文字列を１文字ずつ符号化した数値情報と、前記画像情報に含まれる画像データに基づく数値情報とを用いた学習により生成されたものである
ことを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記投稿情報取得ステップでは、前記投稿情報として、アンケート情報および購買情報の少なくともいずれか１つが、さらに取得される
ことを特徴とする請求項１ないし５のいずれか１項に記載の情報処理方法。
【請求項７】
前記投稿情報取得ステップでは、前記投稿情報として、動画情報、音声情報および生体情報の少なくともいずれか１つが、さらに取得される
ことを特徴とする請求項１ないし６のいずれか１項に記載の情報処理方法。
【請求項８】
前記投稿情報取得ステップでは、前記投稿情報として、前記ユーザがソーシャル・ネットワーキング・サービスに投稿した情報が取得される
ことを特徴とする請求項１ないし７のいずれか１項に記載の情報処理方法。
【請求項９】
前記判定ステップでは、前記ユーザによる投稿情報が、前記商品またはサービスに関するマーケティングファネルにおけるいずれの購買行動段階に対応するかが判定される
ことを特徴とする請求項１ないし８のいずれか１項に記載の情報処理方法。
【請求項１０】
前記判定ステップにおける前記購買行動段階には、前記ユーザが前記商品またはサービスを使用している段階と、前記ユーザが前記商品またはサービスを評価している段階が、少なくとも含まれる
ことを特徴とする請求項９に記載の情報処理方法。
【請求項１１】
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報を含む投稿情報を取得する投稿情報取得ステップと、
前記テキスト情報に含まれる文字列を１文字ずつ符号化する符号化ステップと、
符号化された前記テキスト情報に、文字レベル畳み込みニューラルネットワークにより生成された学習モデルを適用して特徴量を抽出する特徴抽出ステップと、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを示す購買行動段階を判定する判定ステップと、
を有することを特徴とする情報処理方法。
【請求項１２】
請求項１ないし１１のいずれか１項に記載の情報処理方法を情報処理装置に実行させることを特徴とするプログラム。
【請求項１３】
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報と画像情報を含む投稿情報を取得する投稿情報取得手段と、
前記テキスト情報および前記画像情報を符号化する符号化手段と、
符号化された前記テキスト情報および前記画像情報に同一の学習モデルを適用して特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを判定する判定手段と、
を有することを特徴とする情報処理装置。
【請求項１４】
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報を含む投稿情報を取得する投稿情報取得手段と、
前記テキスト情報に含まれる文字列を１文字ずつ符号化する符号化手段と、
符号化された前記テキスト情報に、文字レベル畳み込みニューラルネットワークにより生成された学習モデルを適用して特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを示す購買行動段階を判定する判定手段と、
を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法および情報処理装置に関し、特にソーシャル・ネットワーキング・サービスに投稿された情報から、商品やサービスに対するユーザの購買行動段階を判定する技術に関する。
【背景技術】
【０００２】
商品やサービスのマーケティングにおいて、ユーザである顧客が商品等を購入して使用するまでに辿るプロセスのうち、どの段階にあるかを把握することは重要である。このような購買行動を把握する際に、商品を認知してからの一連の顧客体験を旅行に例えてカスタマージャーニーと呼ぶ。カスタマージャーニーをマップ化することによって、顧客が商品のタッチポイントにおいて、どのようにしてブランドや商品と接触し、その時にどういう体験をして、どのような心理変化を起こすのか。そして、その時の潜在ニーズは何か、最終的に何がトリガーになって購入に至ったのかを可視化できる。
【０００３】
また、顧客による購買行動はマーケティングファネルとしても表現される。これは、顧客が商品を認知してから実際の購入に至るまでの様子を、複数の購買行動段階を含むじょうごに例えたものである。購買行動段階は例えば、商品の存在を知る「認知」、商品に興味を抱く「興味」、商品を購入する「購買」、商品を使用する「使用」、使用後に商品を評価する「評価」、などに分類される。マーケティングファネルの分類方法には、ＡＩＤＡモデル、ＡＩＤＭＡモデル、ＡＩＳＡＳモデルなど、他にも様々な種類があり、商品や顧客の特性に応じて利用できる。
【０００４】
また近年、インターネット上でユーザ同士が社会的ネットワークを形成する、ソーシャル・ネットワーキング・サービス（以下、ＳＮＳとも呼ぶ）と呼ばれるサービスが発達している。ＳＮＳはプロフィール公開、メッセージング、友達の紹介、コミュニティ形成支援などの様々なサービスを提供しており、その一つに、ユーザが様々な形式や内容の投稿を行うための機能がある。投稿形式としては文章、写真等の画像、動画、音声などがある。またＳＮＳによっては、定型的な語句（「いいね！」等）や記号（ハートマーク等の絵文字など）をクリックやタップで手軽に投稿する機能も提供している。
【０００５】
投稿内容も幅広いが、マーケティングにおいては、商品やサービスについてユーザが上述の「認知」「興味」「購買」「使用」「評価」のどの段階にあるかを示す投稿が利用される。ＳＮＳの投稿情報からこれらの情報を収集することをソーシャル・リスニングとも呼び、ソーシャル・リスニングで得られた投稿情報を解析して、ユーザの購買行動段階を判定する試みがなされている。これにより、商品の認知度や普及度、評判を可視化することができる。また、ユーザの購買行動段階に応じて適切な販売促進活動を行えるようになる。例えば、ユーザが認知や興味の段階にある場合はターゲティング広告を配信したり、ユーザが購入済みの段階にある場合にはアンケートやレビュー依頼を行ったり、評価の段階にある場合には評価内容を収集して今後に活用したりできる。例えば特許文献４には、ファネル構造の階層ごとに適切な広告を配信するための情報処理方法が記載されている。
【０００６】
ユーザによるＳＮＳへの投稿情報を分析し、ユーザの購買行動段階を判定するための基本的な方法として、判定者が投稿情報を目視で確認して判定する方法がある。判定者は、商品を販売する企業に属する者でもよいし、専業の調査会社に属する調査者でもよい。かかる判定者は、まず、ユーザによる投稿情報を取得する。その際には、特定ユーザの一連の投稿情報を取得してもよく、多数のユーザによる投稿情報を取得してもよい。また、ＡＰＩ等を用いて所定の語句を含む投稿情報を抽出してもよい。そして、投稿情報を目視で
確認して購買行動段階を判定し、フラグを付ける。このような判定作業を「コーディング」と呼ぶこともある。
【０００７】
しかし、このように自然人がコーディングを行う場合、人件費や設備費用などが高額化するとともに、判定に要する時間も長期化するという問題がある。また、判定手法が属人化しがちになる。そのため判定者が複数人いる場合、熟練度や考え方の違いにより判定結果にばらつきが生じる。また、判定者が交代した場合には作業に習熟するまで時間が必要となり、判定結果の一貫性が保たれないおそれがある。
【０００８】
特許文献１には、ユーザによるＳＮＳへの投稿情報から、各ユーザが購買行動段階のどの段階にあるかを推測するための購買行動分析装置が記載されている。特許文献１の装置は、ＳＮＳへの投稿情報から抽出されたテキスト情報をニューラルネットワークによって分析することで、購買行動段階を判定する。これにより特許文献１は、購買行動段階の判定の機械化を目指している。
【０００９】
なお、ニューラルネットワーク、特に畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、以下「ＣＮＮ」とも呼ぶ）を用いた深層学習（ディープラーニング）は、画像認識や自然言語処理などの分野において利用されている。例えば特許文献２には、ＣＮＮを用いた画像処理の方法が記載されている。また特許文献３には、自然言語処理の分野における、単語をワードベクトルによって表現したのちＣＮＮアルゴリズムを適用して学習を行う手法が記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１７−１７４０６２号公報
【特許文献２】特許第６３２０６４９号公報
【特許文献３】特開２０１８−０４１４４３号公報
【特許文献４】特開２０１８−１０９８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１の購買行動分析装置は、以下の工程を経て投稿情報から購買行動段階を判定する。
（１）ＳＮＳデータから特定の商品についての投稿情報を検索し、その投稿をしたユーザを抽出する。
（２）抽出されたユーザの一連の投稿情報に含まれるテキストを取得して、Ｂａｇ−ｏｆ−ｗｏｒｄｓやｗｏｒｄ２ｖｅｃ等の既知のアルゴリズムを用いて、単語又は句をベクトル化した分散表現に変換する。
（３）変換後の分散表現に対して、商品への興味、欲求、購入に各々対応する３つの判定層を備えるニューラルネットワークを適用し、購買行動段階を判定する。
【００１２】
しかしながら、特許文献１の判定方法には以下のような課題がある。
まず、ＳＮＳデータから特定の商品に関する投稿を抽出するなどの情報処理が必要になるため、工程の数が増加する。また相応の演算資源や処理時間が必要となる。
【００１３】
また、テキスト情報を単語又は句でベクトル化するためには、テキストに対して形態素解析、ＴＦ−ＩＤＦを用いた解析、Ｎｇｒａｍ解析などの前処理が必要である。しかし、分かち書きの無い日本語においては単語や句の単位での分離に困難が伴う。また、形態素解析には専門的な技術や知識が必要であるが、そのような専門性を持つ人材の確保は難しい。また辞書に含まれない単語がある場合（未登録の単語が出現した場合や、誤記を含む
場合など）には解析精度が低下するため、辞書を手動により更新し続ける必要があり、継続的なコスト増加要因となる。
また、形態素解析の手法は言語に応じて異なる。そのため、世界規模でのマーケティングを行う場合などは、日本語による投稿情報から購買行動を判定するためのモデルと、日本語以外の言語による投稿情報から購買行動を判定するためのモデルとを別々に開発する必要があるため、コストの増加を招くおそれがある。
さらに、解析の対象がテキスト情報に限定されるため、画像、動画、音声などの直感的に理解しやすい投稿情報を判定の根拠として利用することができない。そのため、マルチモーダルなＳＮＳデータを十分に活用できていない。
【００１４】
さらに、上述したようにマーケティングファネルには様々な種類があるにもかかわらず、特許文献１における購買行動の判定結果は興味、欲求、購入の３段階のいずれかであり、判定の自由度が少ない。そのため判定の柔軟性が低下し、マーケティング行動を最適化できないおそれがある。
【００１５】
本発明は上記の課題に鑑みてなされたものであり、その目的は、ユーザの投稿情報に基づいて、そのユーザの購買行動段階を良好に判定するための技術を提供することにある。
【課題を解決するための手段】
【００１６】
上記の目的を達成するため、本発明の第１の態様では、以下のような構成を採用する。すなわち、
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報と画像情報を含む投稿情報を取得する投稿情報取得ステップと、
前記テキスト情報および前記画像情報を符号化する符号化ステップと、
符号化された前記テキスト情報および前記画像情報に同一の学習モデルを適用して特徴量を抽出する特徴抽出ステップと、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを判定する判定ステップと、
を有することを特徴とする情報処理方法である。
【００１７】
かかる構成によれば、テキスト情報と画像情報というマルチモーダルな投稿情報を同一のアルゴリズムで処理して、ユーザがどのような購買行動段階にあるかを判定できる。そのため、データの前処理の手間を低減できるとともに、熟練度の低い者が操作したであっても精度の高い判定が期待できる。
【００１８】
また、上記構成において、前記符号化ステップでは、前記テキスト情報に含まれる文字列を１文字ずつ符号化するようにしてもよい。
さらに、前記特徴抽出ステップで用いられる前記学習モデルは、文字レベル畳み込みニューラルネットワークにより生成されたものであるようにしてもよい。
かかる構成によれば、テキスト情報については１文字ずつの数値情報化が行われ、画像情報と同様に学習や判定処理が行われるため、従来の自然言語処理のような形態素解析が必要なくなる上に、日本語と他の言語を同じ方法で処理できるようになる。
【００１９】
本発明はまた、以下のような第２の態様を採用してもよい。すなわち、
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報を含む投稿情報を取得する投稿情報取得ステップと、
前記テキスト情報に含まれる文字列を１文字ずつ符号化する符号化ステップと、
符号化された前記テキスト情報に、文字レベル畳み込みニューラルネットワークにより生成された学習モデルを適用して特徴量を抽出する特徴抽出ステップと、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のい
ずれの段階にあるかを示す購買行動段階を判定する判定ステップと、
を有することを特徴とする情報処理方法である。
【００２０】
かかる構成によれば、マーケティングファネル判定においてテキスト情報が１文字ずつ数値情報化され、学習や判定処理に用いられる。そのため、従来の自然言語処理のような形態素解析が必要なくなる上に、日本語と他の言語を同じ方法で処理できるようになる。
【００２１】
本発明はまた、以下のような第３の態様を採用してもよい。すなわち、
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報と画像情報を含む投稿情報を取得する投稿情報取得手段と、
前記テキスト情報および前記画像情報を符号化する符号化手段と、
符号化された前記テキスト情報および前記画像情報に同一の学習モデルを適用して特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを判定する判定手段と、
を有することを特徴とする情報処理装置である。
【００２２】
本発明はまた、以下のような第４の態様を採用してもよい。すなわち、
ユーザによって投稿された、所定の商品またはサービスに関する、少なくともテキスト情報を含む投稿情報を取得する投稿情報取得手段と、
前記テキスト情報に含まれる文字列を１文字ずつ符号化する符号化手段と、
符号化された前記テキスト情報に、文字レベル畳み込みニューラルネットワークにより生成された学習モデルを適用して特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記ユーザが前記商品またはサービスについての購買行動のいずれの段階にあるかを示す購買行動段階を判定する判定手段と、
を有することを特徴とする情報処理装置である。
【発明の効果】
【００２３】
本発明によれば、ユーザの投稿情報に基づいて、そのユーザの購買行動段階を良好に判定するための技術を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】情報処理システムの全体的な構成を説明する図である。
【図２】情報処理装置の構成を説明する図である。
【図３】購買行動段階判定の処理の流れを説明するフローチャートである。
【図４】学習モデルの作成に用いる投稿情報のリストを説明する図である。
【図５】購買行動段階を判定する投稿情報を説明する図である。
【図６】第２の実施形態にかかる情報処理装置の構成を説明する図である。
【発明を実施するための形態】
【００２５】
以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている構成ブロックやそれらの相対配置などは、発明が適用されるシステムの各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。
【００２６】
本発明は、ユーザによるＳＮＳへの投稿情報に基づいて、商品やサービスに対する当該ユーザの購買行動段階を判定する技術に関する。本発明は、このような技術を用いた情報処理装置または情報処理方法として捉えることができる。本発明はまた、上記の情報処理装置の演算資源を利用して動作し、情報処理方法の各工程を実行させるプログラムや、かかるプログラムが格納された記憶媒体としても捉えることができる。記憶媒体は、コンピ
ュータにより読み取り可能な非一時的な記憶媒体であってもよい。本発明はまた、上記のような情報処理装置と、ユーザが投稿を行う端末を含めた情報処理システムとして捉えることもできる。本発明はまた、上記のような情報処理装置と、ＳＮＳサービスを提供する事業者のシステムを含めた情報処理システムとして捉えることもできる。
【００２７】
本発明は、企業等が所定の商品またはサービスを提供する際に、商品等の顧客であるユーザによる購買行動段階を判定するために好適である。以下の実施形態では、調査者が、複数のユーザによるＳＮＳへの投稿情報に基づいて、ユーザの購買行動段階を判定する事例について説明する。この例における投稿情報は、少なくともテキスト情報と画像情報を含む。ただし、投稿情報の取得元は、ユーザが投稿可能なサービスであればよく、ＳＮＳと呼ばれているかどうかは問わない。また、調査の対象となる商品やサービスはＢｔｏＣには限られない。また、ユーザは商品やサービス提供する者であればよく、例えば公的機関や個人などでもよい。
【００２８】
以下の実施形態において、調査者とは、ユーザによる投稿情報を取得して解析し、購買行動段階の判定を行う者であり、典型的には所定の商品やサービスを提供する企業や、企業からの依頼を受けた調査会社である。企業と調査会社など、複数の主体を合わせて調査者と呼んでも良い。またユーザとは、ＳＮＳサービスを利用して投稿を行う者を指し、商品を実際に購入した顧客の他に、潜在的な顧客も含む概念である。
【００２９】
企業は、本発明によりユーザの投稿情報を分析したのち、購買行動段階に応じた広告行動や調査行動を取ることもできる。調査行動の例として、商品購買に至ったユーザにアンケートを行って感想を聞いたり、逆に興味はあったものの一定期間内に購買に至らなかったユーザに対して理由を聞いたりすることが挙げられる。そこで、リサーチ会社が本発明の調査者となることも好ましい。かかるリサーチ会社は、多数の会員をモニタとして会員組織を形成しており、調査行動を依頼されるとモニタと連絡を取ってアンケートを行う。かかるリサーチ会社が調査者を兼ねることにより、調査からアンケート実施までの処理をスムーズに行うことができる。リサーチ会社としては、比較的低コストかつ短期間で多人数のモニタを対象とする調査を実施できる、ネットリサーチ会社が好ましい。
【００３０】
［第１の実施形態］
＜全体構成＞
本実施形態のシステムの全体的な構成について、図１を参照しながら説明する。
情報処理システム１は概略、調査者が使用する情報処理装置１０および記憶装置１５、複数のユーザ（ユーザａ，ｂ，…）が使用するユーザ端末（ユーザ端末２０ａ，２０ｂ，…）、ＳＮＳサービス提供者が使用するＳＮＳサーバ３０を有している。ユーザ端末２０とＳＮＳサーバ３０の間や、情報処理端末１０とＳＮＳサーバ３０の間は、Ｗｅｂや専用回線等を介して相互に通信可能である。
【００３１】
情報処理装置１０は、ＳＮＳサーバ３０からユーザによる投稿情報を取得し、購買行動段階を判定するための学習モデルを作成し、判定を実施する。情報処理装置１０としては、ＣＰＵ、メモリ、通信手段、記憶手段などの演算資源を備え、プログラムの指示やインタフェースを介した指示によって動作する、ＰＣやワークステーションなどの情報処理装置が好適である。あるいは情報処理装置１０として、クラウド上の演算資源を利用するクラウドサーバを用いてもよい。記憶手段としては記憶装置１５を用いてもよい。なお、ネット回線または直接的に接続された複数のＰＣ等を組み合わせて、情報処理装置１０としてもよい。記憶装置１５は、取得した投稿情報や情報処理の途中段階におけるデータ、判定結果などを保存する。記憶装置１５としては、ハードディスクやフラッシュメモリ等の記憶媒体を備え、情報処理装置により読み書きが可能な装置が好適であるが、データベースの配置や構成などは特に限定されない。
【００３２】
情報処理装置１０は、情報処理を行うＣＰＵ１００１、画像処理を行うＧＰＵ１００２、データを一時的または永続的に保持するメモリ１００３、Ｗｅｂ等を介して外部との通信を行う通信アダプタ１００４、マウス１００５、キーボード１００６、ディスプレイ１００７を含んで構成される。マウス、キーボードおよびディスプレイは、情報処理装置１０に接続された外部機器であってもよい。
【００３３】
ユーザ端末２０は、ユーザが投稿情報をＳＮＳに投稿する機能を備える端末装置である。ユーザ端末２０は、情報を入力するための入力部２１０を少なくとも有する。ユーザ端末２０はまた、情報処理機能と通信機能を有する。ユーザ端末２０として例えば、ＣＰＵやメモリなどの演算資源を備え、プログラムの指示やインタフェースを介した入力によって動作する、スマートフォン、タブレットデバイス、ＰＣなどの情報処理装置が好適である。ユーザ端末２０としてスマートフォンを用いる場合、スマートフォンのタッチパネルが入力部２１０となる。またユーザ端末２０としてＰＣを用いる場合、マウスやキーボード等のインタフェースが入力部２１０となる。
【００３４】
ＳＮＳサーバ３０は、ＳＮＳサービス提供者のサーバであり、ユーザによる投稿情報を受信して保存し、投稿したユーザや他のユーザからのリクエストに応じて投稿情報を送信する。ＳＮＳサーバ３０はまた、調査者の情報処理装置１０からのリクエストに応じて投稿情報を提供する。投稿情報の提供方法は問わないが、例えば投稿情報取得用のＡＰＩを提供してもよい。ＳＮＳサーバ３０としては、情報処理装置１０と同様に、ＣＰＵ、メモリ、通信手段、記憶手段などの演算資源を備え、プログラムの指示やインタフェースを介した指示によって動作する、ＰＣ、ワークステーション、クラウドサーバなどの情報処理装置が好適である。
【００３５】
図２は、情報処理装置１０の機能ブロック構成を示す。各機能ブロックは必ずしも物理的な実体である必要はなく、それぞれがプログラムモジュールとして仮想的に実現されてもよい。情報処理装置１０は、情報取得部１１０、情報統合部１２０、特徴抽出部１３０、ファネル判定部１４０を備える。情報取得部１１０は、テキスト情報取得部１１１１、画像情報取得部１１１２を含む。各機能ブロックの動作については後述する。
【００３６】
＜処理フロー＞
図３を参照して、本実施形態の処理フローについて説明する。本フローは、判定処理の内容が決定され、調査車により情報処理装置１０を利用した処理が支持された時点から開始される。便宜上、日本語のテキスト情報を対象としているが、他の言語であっても同様に処理できる。
【００３７】
判定の対象となる投稿情報は、ユーザによるＴｗｉｔｔｅｒ（登録商標）へのツイート（つぶやき）とする。ここでは説明の簡略化のため、投稿情報のうちテキスト情報と画像情報を対象とする。なお、ＳＮＳはＴｗｉｔｔｅｒに限定されず、Ｆａｃｅｂｏｏｋ（登録商標）、Ｉｎｓｔａｇｒａｍ（登録商標）や、その他のいかなるＳＮＳから取得してもよい。また、ユーザが投稿可能なサービスであれば、ＳＮＳと称されていなくてもよい。
【００３８】
判定の内容は、ユーザの投稿情報が、購買行動のどの段階に当たるかである。ここでは購買行動段階を「認知」「興味」「購買」「使用」「評価」の五段階のいずれかに分類して結果を出力する。ただし、購買行動段階は、五段階に限られず、商品カテゴリーに応じて適切に設定されるものとする。例えば四段階以下としてもよいし、「興味」と「購買」の間に「体験・試用」などを入れるように、六段階以上としてもよい。
購買の対象となる商品は、あるメーカーが販売する歯磨きとする。このメーカーは、調査期間において、歯磨きに関してタレントを起用したキャンペーンを展開している。例え
ばタレントを起用したテレビ広告やＷｅｂ広告の放映、店頭でのポスターの掲示、専用Ｗｅｂサイトの開設、歯磨きを購入すると貰えるノベルティグッズの提供などを行っている。
【００３９】
本フローの処理は概略、機械学習モデルを作成する工程と、作成された機械学習モデルを用いて投稿情報についてファネル判定を行う工程に大別される。前者の工程では、購買行動段階のコーディングがなされた投稿情報を学習に用いるトレーニングデータとして取得し、必要に応じて前処理を行ったのち、学習に利用する。後者の工程では、いずれの段階であるかラベル付けされていない未知の投稿情報に作成済みのモデルを適用して判定を行い、結果を出力する。なお、本フローにおける動作主体やデータの種類は一例であり、情報処理システム全体として以下の処理を実現できていればよい。例えば学習工程は判別工程とは別のモジュールにより実行されてもよい。
【００４０】
ステップＳ１０１において、情報処理装置１０は、ＳＮＳサーバ３０にリクエストを行って、コーディング対象とする複数の投稿情報を取得する。コーディング対象の投稿情報の選択方法は任意である。例えば、ある所定の期間の投稿情報を、ユーザを問わずに一律に選択してもよい。また、取得対象とするユーザを、以前のアンケート情報などを基準として絞り込んでもよい。また、使用言語や、投稿情報中に含まれるキーワードなどで絞り込み抽出を行ってもよい。続いて、テキスト情報および画像情報を、調査者による入力を可能にするＧＵＩとともにディスプレイ１００７に表示する。なお、ＳＮＳサーバから取得したデータにヘッダ、区切り符号や注釈などが含まれている場合は、テキスト部分のみを抽出して調査者に提示することが好ましい。
【００４１】
調査者は、マウス１００５やキーボード１００６などの入力手段を用いて、投稿情報ごとに購買行動段階のコーディングを行う。必要なコーディング回数はデータの内容や求める判定精度によっても異なるが、例えば数百回以上とする。調査者は、テキスト情報の内容や画像を確認して、五段階のいずれかから購買行動段階を選択し、投稿情報と関連付けて記憶装置１５に保存する。五段階のいずれにも分類されない投稿情報については対象外データとして除外してもよい。
【００４２】
調査者は、マニュアル、辞書、ノウハウなどを基準として分類を行う。例えばテキスト情報については、「〜に興味がある」「〜を購入した」「〜の感想は…」などの直接的な文言だけではなく、それを示唆する文言も基準とすることが好ましい。また、画像情報を用いる場合、例えば商品が店頭に置いてある写真では「興味」または「購買」とコーディングし、自宅の洗面所に歯磨きが置いてある写真では「使用」または「評価」とコーディングするなどの方法がある。また、歯磨きのキャンペーンに起用されているタレントに関するテキストや画像（例えば、ポスターの写真）なども分類の基準になり得る。
【００４３】
図４は、本ステップで得られたコーディング済み投稿情報のリストを示す。ここで、Ｔｗｉｔｔｅｒでは一つの投稿情報にテキストと画像の両方が含まれることがある。この場合、調査者はテキスト部分と画像部分を個別に判定してもよいし、テキストと画像を合わせて判定してもよい。特にＴｗｉｔｔｅｒにおいてはテキスト量が比較的少ないため、テキストだけでは分類が困難な場合がある。また、画像だけでは商品に対するユーザの印象がポジティブなのかネガティブなのかを判別しにくい場合がある。そこで、図４のデータＮｏ．２やＮｏ．３に見られるように、テキストと画像を合わせて判定することで、より多くの場合にコーディングが可能になる。
【００４４】
ステップＳ１０２にて、テキスト情報取得部１１１１は、テキスト情報を畳み込みニューラルネットワーク（ＣＮＮ）用に数値化し、画像情報取得部１１１２は、画像情報をＣＮＮ用に数値化する。そしてステップＳ１０３にて、数値化されたテキスト情報と画像情
報から機械学習モデルが作成される。
【００４５】
ここで、本発明におけるテキスト情報と画像情報を対象としたＣＮＮの一例に関して説明する。本発明では、少なくともテキスト情報と画像情報を含むマルチモーダルな投稿情報を同一のアルゴリズムで取り扱うことができる。ＣＮＮは、階層型ニューラルネットワークを用いた機械学習の一種であり、畳み込み層とプーリング層とが多重に繰り返される積層構造を用いて高精度な情報処理を可能としている。
【００４６】
まず、画像情報について検討する。ここでの入力画像は、ピクセルごとに画素値が数値化される方式で符号化された画像データとする。このような画像データを処理する場合、畳み込み層は、入力層への入力画像に対して、互いに異なる特徴を検出する複数のフィルタを用いた畳み込み演算を行う。これにより、画像の局所性を利用して特徴量を算出できる。ＣＮＮにおいては、フィルタのパラメータは画像認識の対象に応じて自動的に学習される。
プーリング層は、畳み込み層の出力を、画像中の所定領域内の最大値を取るマックスプーリングなどの方法でサブサンプリングして画像解像度を低下させ、特徴量を圧縮する。プーリング層での処理によって、画像中の位置への依存性を低減したり、計算コストを下げたりする効果が得られる。最後に出力層を含む全結合層において、特徴量を結合してパターン分類が行われて結果が出力される。このような学習モデルの生成においては、ＣＮＮの分類結果が正解に近づくようにフィルタ重みの計算が行われて最適化される。その際は、誤差逆伝播法など既知の任意の手法を用いてよい。
【００４７】
次に、テキスト情報について検討する。本発明の特徴の一つに、ＣＮＮでの学習に用いるテキスト情報を単語や句で区切るのではなく、文字が連続するデータとして捉えて、１文字ごとに符号化を行うことがある。符号化の方法としては、Ｕｎｉｃｏｄｅ規格の文字集合に対する符号化方式であるＵＴＦ−８などが好適である。ただし、対象とするテキスト情報を符号化できるのであれば方式は限定されない。例えば、英語のように文字集合に含まれるキャラクタの種類が比較的少ない場合は、符号化時のバイト数がより少なくて済む方法でもよい。なお、投稿情報ごとにテキスト量が異なる場合、テキストを固定長化してＣＮＮでの処理を容易にするために、文章の先頭から所定の文字数を取得したり、ゼロパディングを行ったりすることも好ましい。
【００４８】
このようにＵｎｉｃｏｄｅ文字集合に対する符号化を行うことで、日本語を含めた様々な言語を同じやり方で処理できる。なお、最初に購買行動段階をコーディングする際には、対象の言語に通じた話者が必要である。
上述の画像情報の場合は、入力画像をピクセルごとの画素値に基づく数値情報として処理した。本発明によれば、テキスト情報についても、画像情報と同様に、入力された文字列を数値情報として処理できるようになる。そのため、投稿情報に含まれる画像とテキストを同じアルゴリズムで処理できる。
【００４９】
また本発明では上述のように、１文字ごとに符号化が行われる、文字レベル畳み込みニューラルネットワーク（Ｃｈａｒａｃｔｅｒ−ｌｅｖｅｌ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、以下「文字レベルＣＮＮ」とも呼ぶ）を採用している。文字レベルＣＮＮを採用することで、文章を単なる文字列として取り扱えばよくなる。言い換えると、文章の意味や文法構造を考慮する必要がなくなり、文字の並びだけを考慮すればよいため、特許文献１で行われていた形態素解析などの前処理が不要となる。さらに、文章解析用の辞書を用いる必要がないため、辞書の作成やメンテナンスのコストが不要になる。さらに、誤字や誤記、表記ゆれなどを含む場合でも判定精度が向上する。
また、特許文献１では、投稿情報が単語のみの場合や、絵文字、顔文字やアスキーアート等の場合は形態素解析の対象とすることが難しいため、演算対象から除外されることが
ある。しかし文字レベルＣＮＮでは文字単位での符号化が可能であれば処理対象にできる。そのため、ユーザの心情をより反映した調査を行うことができる。
【００５０】
投稿情報がテキスト情報と画像情報のいずれの場合でも、ＣＮＮにおける入力データのサイズやチャネル数、フィルタサイズやフィルタ数やフィルタ移動間隔、畳み込みやプーリングの回数、その他学習に必要な種々のパラメータは、入力データの特性や必要な判別精度に応じて適宜定めることができる。なお、学習モデルを作成するときには、コーディング済みの投稿情報群を学習データと検証データに分けてもよいし、交差検定法によって精度を向上させてもよい。
【００５１】
ステップＳ１０４においては、情報処理装置１０は、判定対象となる投稿情報を取得して機械学習モデルを適用する。このとき情報取得部１１０がｔｗｉｔｔｅｒの投稿情報を取得し、テキスト情報１１１１と画像情報取得部１１１２がそれぞれテキスト情報と画像情報を抽出する。そして、テキスト情報についてはＵＴＦ−８による数値化などの処理を行い、画像情報についてはピクセルごとの画素値に基づく数値化処理を行う。続いて特徴抽出部１３０は、それぞれの投稿情報に学習済みのモデルを適用して特徴量を抽出する。
そしてファネル判定部１４０において、投稿情報が「認知」「興味」「購買」「使用」「評価」のどれに当たるかが判定される。ファネル判定部は全結合層から出力層に対応し、本実施形態では分類の数が５個であるため、ファネル判定部の出力先も５ノードに設定される。そして、抽出された特徴量に基づき、隠れ層における重み付けと出力層でのソフトマックス関数等を用いた演算を行い、分類それぞれに属する確率を算出する。ここで、ファネル判定部に設定される分類の段階は固定的なものではなく、適宜設定してよい。
【００５２】
最後に、ステップＳ１０５においては、情報処理装置１０がディスプレイ１００７を介して判定結果を調査者に提示する。
【００５３】
図５を用いて、Ｓ１０４における判定処理とＳ１０５における結果の提示についての具体例を説明する。図５は、ディスプレイ１００７に提示される画面の一例である。画面の左側はユーザの投稿情報を示しており、ペイン５１０では調査対象が投稿された期間、投稿情報の表示順序、対象ユーザ、対象とする情報の種類などが表示されている。その他、投稿情報に関するいかなる情報を表示してもよい。ペイン５１０に、これらの情報を絞り込み可能なＧＵＩを設けてもよい。ペイン５２０は、対象ユーザによる一連の投稿情報５２１〜５２６を表示する。画面の右側は、判定結果を示しており、ペイン５３０には判定結果の分類先が示されている。ペイン５４０には、それぞれの投稿情報がどのファネルに分類されるかが、判定結果５４１〜５４６として表示される。
【００５４】
このように情報処理装置１０が機械学習の結果に基づいて分類を行い、その結果を調査者に提示することで、コストを低減しつつ調査者の理解しやすい形式で判定結果を提供できるようになる。その結果、調査者が、コーディングへの習熟度や機械学習に関する知識に関わらずにマーケティングに有益な情報を取得できるようになる。なお、判定結果の提供方法はディスプレイへの提示には限られず、判定済みのデータを記憶装置１５に保存する方法や、オンラインで提供する方法でもよい。また、判定済みのデータと、それに対する解析機能を持つソフトウェアと、クラウド上で動作するＳａａＳ（Ｓｏｆｔｗａｒｅ−ａｓ−ａ−Ｓｅｒｖｉｃｅ）のような形で提供してもよい。
【００５５】
［第２の実施形態］
図６を参照して、本実施形態の情報処理装置１０の構成を説明する。上記実施形態との違いを中心に説明を行い、共通部分についての説明は簡略化する。
【００５６】
本実施形態の情報処理装置１０には、投稿情報の他に追加情報が入力される。そのため
に情報取得部１１０は、機能ブロックとして基本情報取得部１１１と追加情報取得部１１２を備えている。基本情報取得部１１１は、テキスト情報取得部１１１１と画像情報取得部１１１２を含んでおり、これらのブロックの機能は第１の実施形態と同様である。なお、図６の画像情報取得部１１１２は、動画情報も合わせて取得する構成である。動画情報は複数の画像が所定のフレームレートで順次表示されるものであるため、画像情報と同じ方法で処理してよい。また、情報取得部１１０の出力は情報統合部１２０に入力されたのち、特徴抽出部１３０に出力される。
【００５７】
追加情報取得部１１２は、基本情報取得部１１１に入力されるテキスト情報と画像情報以外の追加情報も利用して判定処理を行う場合に、当該追加情報を取得する。追加情報として例えば、アンケート情報や購買情報が挙げられる。アンケート情報は、ユーザに対して商品やサービスについてのアンケートを行って得られた回答に基づくアスキングデータである。ユーザが自発的に発信した投稿情報と比べると、ユーザの購買行動段階をより正確に把握できる。また購買情報は、ユーザが商品やサービスを購入した履歴を示す購買履歴データであり、購入実績をより正確に把握できる。
【００５８】
情報統合部１２０は、投稿情報、アンケート情報、購買情報などの異なるモードの情報を統合し、特徴抽出部１３０に出力する。情報統合部１２０が、アンケート情報や購買情報を数値情報として文字レベルＣＮＮで処理できる形式にすることで、テキスト情報や画像情報と同様に処理できるようになる。なお、アンケート情報や購買情報については、コーディングの精度を向上させるために利用することもできる。
本実施形態の構成によれば、投稿情報に含まれるテキスト情報、画像情報および動画情報に加えて、アンケート情報や購買情報などの様々なモーダルの情報を用いた、精度の高いファネル判定を、単一の構造で扱うことが可能になる。
【００５９】
［第３の実施形態］
上記実施形態では、簡略化のため、投稿情報としてテキスト情報、画像情報および動画情報を対象としていた。しかし、動画に含まれる音声情報や、音声ファイル形式で投稿される音声情報なども、本発明のＣＮＮの手法によって他のモーダルと同じ手法で判定可能である。例えば時系列的な音声データが得られる場合、スペクトル解析などの方法で数値情報化することでＣＮＮに入力する音声情報に変換し、特徴量を取得できる。
【００６０】
また、ＣＮＮへの入力情報として生体情報を用いてもよい。例えば、商品を見たときのユーザの心拍をスマートウォッチで取得し、時系列の数値データを算出することにより、ユーザがマーケティングファネルのどの段階にあるかを判定することができる。生体情報として他にも、脳波計で脳波情報を取得して数値情報化して利用することや、心電計で心電図を取得して数値情報化して利用することもできる。
【符号の説明】
【００６１】
１０：情報処理装置、１１０：情報取得部、１１１１：テキスト情報取得部、１１１２：画像情報取得部、１３０：特徴抽出部、１４０：ファネル判定部
【図１】
2020052463.tif 000003
【図２】
2020052463.tif 000004
【図３】
2020052463.tif 000005
【図４】
2020052463.tif 000006
【図５】
2020052463.tif 000007
【図６】
2020052463.tif 000008