データの収集と統合

:::note
本書は2017年4月1日にTeradata Japanのブログに掲載された内容を、再掲載したものです。
掲載内容の正確性・完全性・信頼性・最新性を保証するものではございません。
また、修正が必要な箇所や、ご要望についてはコメントをよろしくお願いします。
:::

著者 山本 泰史 （やまもと やすし）

# データの収集と統合

### 顧客データ・カタログ
顧客に関するデータは複数のチャネルから得られる。以降、いくつかの視点から俯瞰的にそれを概観していく。
一般的に顧客データは以下の 3つのカテゴリーに区分される。

#### デモグラフィック属性
生年月日（年齢）、性別、居住地、所有物（家や車など）、家族構成などのデータ。これらは会員登録や契約時に入手できる情報である。

#### サイコグラフィック属性
アンケート・データに代表される顧客の心理的なデータ。後述するソーシャルメディアや自社チャネルを介して寄せられた意見もここに属する。

#### ビヘイビアル属性
行動属性。会員申し込み、契約や取引データ、商品・サービスの利用データ、問い合わせのような接触履歴を含めた顧客行動データを意味する。

モバイルを含めたインターネットのオンライン・チャネルからは、以下のようなデータを取得することが可能だ。これらはそれぞれ、上述した 3つの属性のいずれかに区分される。また当然ながら、取得と利用に当たってパーミッションを必要とする場合がある。

#### アクセスログ
自社サイト、もしくは広告配信におけるユーザーのページ閲覧履歴。自社サイトであれば、リファラーと呼ばれる流入元情報を利用することによって、検索サイトから来たのか、メールマガジンから来たのかなどを確認でき、また各ページの閲覧順と閲覧時間、そしてどこで離脱したかを Cookie と呼ばれる識別情報で理解できる。同様に、広告配信の場合も、表示した広告、広告のクリック履歴を確認できる。

また、モバイルを含めた携帯サイトや店頭のキオスク端末、ATM端末も Webサーバを用いていることが多く、考え方は同じである。ただし識別情報が Cookie ではない場合もある。例えばキオスク端末であれば、識別情報はスリップされたカードの情報を用いる。

#### ソーシャルデータ
大きく 3つのデータを取得できる。ユーザー・プロファイル、投稿や評価を中心とした活動データ、そして誰と友人関係にあるかを示すグラフ・データである。ソーシャルメディアを運営する事業者は API と呼ばれるデータ連携仕様を公開していることが多く、これを経由して入手するか、再販事業者（例：Twitter における Firehorseパートナーなど）を介して入手する。

このほか、特殊なアプリなどを提供していれば、そのアプリからデータを取得できる場合もある。チェックイン先の位置情報はその一例だ。


#### 顧客データの統合
これらのデータは、収集段階ではそれぞれ独立して存在しているため、統合する必要がある。例えば実店舗の会員カードと、会員サイトのログイン、会員サイトの Cookie情報、ソーシャルメディアのアカウントという 4つの識別情報がある場合、これらを横串で統合することが必要になる。Cookie の情報はログオン後のアクセスログにも付与されるため、統合は容易だ。一方で会員カード、ログイン、ソーシャル・アカウントは、既存顧客であれば、顧客に対してひも付けを依頼するほかない。新規顧客なら実店舗とオンライン共通の会員番号を発行するなどの必要がある。また、各種ソーシャルメディアのアカウントを自社サイトの会員識別に利用する「ソーシャル・サインオン」の手法を用いれば、ソーシャル・アカウントとの統合は比較的容易になる。

#### 活用の下準備
データ活用を可能にするためには、顧客識別子に基づく統合と合わせて、下準備が必要になる。以下に主なものとして 3点を挙げる。

#### マスター・データの整備
分析を行うためには、データを分類するための軸が必要になる。この軸の役割を担うのがマスター・データだ。代表的なものとしてカレンダーマスター（時間軸）、商品マスター（何を買ったのか）、広告マスター（何を提案したのか）などが挙げられるが、保持方法に考慮が必要なのがチャネルマスターだ。例えば店舗マスター、カタログマスター、閲覧ページマスターといったチャネルごとに分かれているマスターを単一のチャネル体系でとらえ直し、接触回数や販売金額など、量的な比較を行いたいチャネルを同一レベルで管理する必要がある。

#### 構造化
アクセスログのようなテキスト形式は、流入元、閲覧ページ、タイムスタンプなどのデータが単純に記述されているため、これらを分解する必要がある。また、タイムスタンプ間の時間差を考慮して同じセッションをグループ化することも必要だ。このように、データを構造化し、ほかのデータと突き合わせて分析が可能な形式にする必要がある。構造化対象のそのほかの例として、文章データがある。あるキーワードに言及した顧客を識別したいのであれば、文章データをキーワードに切り刻み、フラグ（言及した場合は 1、言及していない場合は 0）データと、キーワードマスター（辞書マスター）にしていくことが必要となる。

#### イベント集約
例えば取引データと、Webサイトの閲覧データを見比べた場合、前者は取引商品や日時、金額のデータであるのに対して、後者は閲覧ページと日時のデータとなる。このように異なるイベント間の因果関係を把握したい場合もあるだろう。そのような場合、各種の異なる顧客行動をイベント（顧客に関して発生した事象）として集約することによって、分析が容易となる。複数バナー広告の貢献度を測るアトリビューション分析という手法があるが、イベントごとに集約化したデータを用いれば、オフライン・チャネルを含めた複数チャネルでのアトリビューション分析も可能となる。

#### データを統合する価値
以上のような統合プロセスを経ることによって、マーケターは、それぞれのデータから最大限の価値を導き出すことができる。当然、各データ単独でも含有する知識はあり、分析する価値はある。しかしながら統合されたデータがもたらす価値は、その総和以上だ。

図表では、それぞれのデータがほかのデータとぶつかるポイントを四角で表現している。例えば A のポイントでは、 Webサイトの各ページの、年齢・性別ごとの支持状況を理解できる。B のポイントでは、ソーシャルメディア上での自社商品評価を、購入顧客と未購入顧客とに分けて理解できる。単独のデータで理解できること（例：C自社商品の評価）の総和よりも、2つのデータの組み合わせから理解できることの方が多いことを、色の薄い四角の数が示している。実際の分析では 3つ、4つのデータを組み合わせることもあるため、得られる知識と価値の総量は、単独データそれぞれの総和よりも、はるかに大きい。


<img width="８00" alt="image.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2768546/db69a6db-2f39-58db-ad65-4a5a55c52b57.png">

 

そして、顧客データを統合した場合の価値をもうひとつ挙げたい。それは、今までに実施してきた分析手法の多くを、そのまま利用できるという点だ。一般的な顧客データの分析手法として、レポーティングによるデータの照会と視覚化、データマイニングを利用した確率スコアの算出、キャンペーン対象顧客のセグメント作成が挙げられるが、このいずれにおいても、単に「利用可能なデータが増えた」だけで済む

#### Teradata Vantageへのお問合せ
[Teradata Vantage へのお問合せ](https://www.teradata.jp/About-Us/Contact)