2019/7/7

ソーシャルメディア分析サービスにおけるNLP技術の活⽤と近年における使⽤技術の変化
株式会社ホットリンク

榊

⾃⼰紹介・会社の概要

剛史

2019/7/7

軽く⾃⼰紹介榊 剛史

会社概要(株)ホットリンク
東京⼤学

R&D部部⻑

社

名株式会社ホットリンク

本社

東京都千代田区富士見１－３－１１
富士見デュープレックスビズ5階

立

2000年6月26日

金2,357百万円（2018年7月末時点）

株 式 市 場

東京証券取引所マザーズ

代

代表取締役社長 内山 幸樹

客員研究員@tksakaki

設

興味領域

資

– Artificial Intelligence– Computational Social Science– Natural Language Processing– Machine Learning

本表事 業 内 容ソーシャル･ビッグデータの分析･販売事業
クラウドサービス事業
インバウンドプロモーション支援事業など

連 結 子 会 社

株式会社トレンドExpress（100％子会社）
EFFYIS、inc。 （100％子会社）
流行特急(100%中国小会社)

経歴– 2006年：修⼠号（電⼦情報学）取得– 2006~2009年：東京電⼒にて勤務– 2009年10⽉：博⼠課程⼊学（松尾研究室）– 2013年12⽉：博⼠号（技術経営学）取得– 2014年〜2015年：東京⼤学 特任研究員
第22回SIG-AM研究会– 2015年〜現在：現職

2019/7/7

第22回SIG-AM研究会

2019/7/7

1

2019/7/7

事業コンセプト

会社概要
ソーシャル・ビッグデータを活用し，「データとAIで意思決定をサポートする」ことを目指し，
マーケティングに関わる事業を運営・提供しています．

Big Data
ソーシャル・ビッグデータを活⽤し，「データとAIで意思決定をサポートする」ことを⽬指し，マーケティングに関わる事業を運営・提供しています．

SocialAI
第22回SIG-AM研究会

ソーシャル・
ビッグデータ
解析ツール事業

ソーシャル・
ビッグデータ流通・販売事業

24種類の口コミデータ
クロスバウンド・
流通・販売

訪日中国人の現状把握

マーケティング
支援事業
第22回SIG-AM研究会

2019/7/7

ソーシャルメディア分析ツール

SNSアカウント活用
の効率化

クチコミの
マーケティング活用

2019/7/7

ソーシャルメディアアカウント運用ツール

https://service.hottolink.co.jp/service/buzzspreader/https://hashtag-ai.buzzspreader.com

https://service.hottolink.co.jp/service/kakaricho/
世界観

世界観

俯

瞰

ネット世界

投

影

リアル世界
第22回SIG-AM研究会

2019/7/7

これまでの情報発信

SNSを活用した情報発信・拡散

第22回SIG-AM研究会

2019/7/7

2

2019/7/7

今⽇の発表

ホットリンクとAI（人工知能）技術の歴史
2005年
既存プロダクト
（主力）

2015年

2010年

Ø スパム推定Ø 属性推定2019年

提供機能と利⽤技術の変遷

Ø 評判分析
Ø キーワード抽出（性別、年齢、職業等）

ルールベース・機械学習
深層学習を含む機械学習Ø コミュニティ抽出Ø 情報伝播分析
社会ネットワーク分析
深層学習を含む機械学習Ø 画像解析
Ø 時系列解析Ø キーワード抽出

BuzzSpreader（開発中）

既存プロダクト（主力以外）

近年の研究開発で活⽤している⼿法・道具

その他のデータ分析技術の活⽤と実務上の失敗談

機械学習

機械学習を含んだシステムを
Ø 株価予測 Ø 選挙予測
⻑期的に運⽤してきた実績がある
Ø 自動レコメンド
第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

今⽇の発表

2019/7/7

ソーシャルメディア分析ツール提供機能と利⽤技術の変遷

https://service.hottolink.co.jp/service/kakaricho/
世界観

近年の研究開発で活⽤している⼿法・道具

俯

その他のデータ分析技術の活⽤と実務上の失敗談

瞰

ネット世界

投

影

リアル世界
第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

3

2019/7/7

提供機能と利⽤技術の変遷
検索

話題語

関連語

提供機能と利⽤技術の変遷

ユーザ属性

スパムフィルタ

評判

ユーザ
属性推定

スパム判定

評判分析

学習⽤
データ

学習⽤
データ

検索

話題語

関連語

ユーザ属性

スパムフィルタ

評判

ユーザ
属性推定

スパム判定

評判分析

学習⽤
データ

学習⽤
データ

複合語
処理
抽出

学習⽤
データ

学習⽤
データ

複合語
処理
抽出
形態素解析
（分かち書き）

⿊︓⼿法

形態素解析
（分かち書き）

⿊︓⼿法

分類
機能
単語解析
関連語分析、話題語抽出、成分マップ、係り受け分析、類義語取得
意味解析機能 評判分析（⽇・英）、話題トピック抽出

分類
機能
単語解析
関連語分析、話題語抽出、成分マップ、係り受け分析、類義語取得
意味解析機能 評判分析（⽇・英）、話題トピック抽出

⽂書分類機能⽂書分類機能スパム判定(ﾌﾞﾛｸﾞ、ﾂｲｰﾄ、ﾕｰｻﾞｰ)、ボット判定、性・年代・地域・職業・話題判定第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

提供機能と利⽤技術の変遷

2019/7/7

提供機能と利⽤技術の変遷

複合語抽出

評判分析

⽬的

⽬的

– SNS投稿について，適切な単語単位で分かち書きを⾏う–

スパム判定(ﾌﾞﾛｸﾞ、ﾂｲｰﾄ、ﾕｰｻﾞｰ)、ボット判定、性・年代・地域・職業・話題判定– SNS投稿について，指定された対象語に対するポジ／ネガ／ニュート
ラルを出⼒する機能– SNS投稿について，⽂全体のポジ／ネガ／ニュートラルを出⼒する機能– ⼊⼒：SNS投稿（もしくはスニペット）– 出⼒：複合語を含む分かち書き– ⼊⼒：SNS投稿，対象語

サンプル/ SNS投稿– 出⼒：ポジ／ネガ／ニュートラルの3値及びスコア

サンプル– 昨⽇の君の名はのついったー実況はめっちゃ盛り上がった• 通常– 昨⽇ | の | 君 | の | 名 | は | の | つ | いっ | た | ー | 実況 | は | めっちゃ | 盛
り上がっ | た• 複合語抽出あり– 昨⽇ | の | 君の名は | の | ついったー | 実況 | は | めっちゃ | 盛り上がっ | た
第22回SIG-AM研究会

2019/7/7• 今年のお⽫は2枚セットだよ!あと、サンリオくじが素敵すぎて......(* ́v`)
– 全体：Positive サンリオ：Positive• ⼦持ちシシャモは⾷べれる！イクラは無理でした。。
– 全体：Neutral

イクラ：Negative
第22回SIG-AM研究会

2019/7/7

4

2019/7/7

提供機能と利⽤技術の変遷

提供機能と利⽤技術の変遷

スパム投稿判定

ユーザ属性推定⽬的

⽬的– ⼊⼒された⽂書について，スパム投稿かどうかを⼆値で判定する

機能– 特定のユーザによる投稿群から，ユーザの属性を推定する機能– ⼊⼒：投稿– ⼊⼒：投稿群– 出⼒：スパム/⾮スパムの2値– 出⼒：各属性のクラス（性別／年代）

サンプル
– シャツ

• 性別：男性／⼥性• 年代：10代／20代／30代／40代／50代／60代
メンズM

ディープブルー \13000 送料無料

– [アダルトワード]興味あります。どMさんいない？
– 友⼈が台湾でスマホ盗まれた結果ｗｗｗｗ

第22回SIG-AM研究会

ホットリンクとAI（人工知能）技術の歴史
2005年
既存プロダクト
（主力）

2015年

2010年

Ø スパム推定Ø 属性推定第22回SIG-AM研究会

2019/7/7

Ø 評判分析
Ø キーワード抽出

ホットリンクとAI（人工知能）技術の歴史
2019年

深層学習
の時期

（性別、年齢、職業等）

ルールベース・機械学習

2005年
既存プロダクト（主力）の時期

既存プロダクト（主力以外）

ルールベース+αの時期

深層学習を含む機械学習Ø 画像解析
Ø 時系列解析Ø キーワード抽出

機械学習
Ø 株価予測 Ø 選挙予測
Ø 自動レコメンド
第22回SIG-AM研究会

Ø スパム推定Ø 属性推定Ø 評判分析
Ø キーワード抽出

2019年

深層学習
の時期

ルールベース・機械学習

深層学習を含む機械学習Ø コミュニティ抽出Ø 情報伝播分析
機械学習 社会ネットワーク分析の時期

BuzzSpreader（開発中）

既存プロダクト（主力以外）
2019/7/7

2015年

2010年

（性別、年齢、職業等）

深層学習を含む機械学習Ø コミュニティ抽出Ø 情報伝播分析
機械学習 社会ネットワーク分析
BuzzSpreader（開発中）

2019/7/7

ルールベース+αの時期

深層学習を含む機械学習Ø 画像解析
Ø 時系列解析Ø キーワード抽出

機械学習
Ø 株価予測 Ø 選挙予測
Ø 自動レコメンド
第22回SIG-AM研究会

2019/7/7

5

2019/7/7

ルールベース+αの時期

ルールベース+αの時期
複合語抽出

時期：2006年〜2010年
分析対象

機能

– ブログ/2ch中⼼• ⼊⼒：SNS投稿（もしくはスニペット）

道具⽴て
– 分類器
• Support Vector Machine：⾃前で実装– 形態素解析• MeCab：2006年9⽉にInitial
release– Chasen/JUMANは速度の⾯から利⽤せず– TinySVM(2002)/Liblinear(2008)/c
lassias(2009)• 出⼒：複合語を含む分かち書き

アプローチ• 品詞の連接情報に対するルールベースアプローチ• 品詞／品詞詳細情報ごとに，前の語との結合を規定– 「名詞,⼀般」は前の語と結合する– 「接頭詞」は前の語と結合しない• 辞書：IPADIC– Unidic(2006~2007)／
Naistdic(2007)– 係り受け解析• CaboCha：商⽤利⽤不可– 京都⼤学テキストコーパス
2002年

Ver4.0
第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

ルールベース+αの時期

2019/7/7

ルールベース+αの時期

スパム投稿判定

評判分析

機能

機能

– ⼊⼒：投稿（ブログ）– 出⼒：スパム/⾮スパムの2値– ⼊⼒：⽂書，対象語 / ⽂書（２つのタイプの対応）– 出⼒：ポジ／ネガ／ニュートラルの3値及びスコア

アプローチ

アプローチ

– コンテンツ／タイトルについて，ルール・辞書ベースアプローチ• タイトル：スパムワードによる判定• コンテンツ：スパムワード／URLの出現パターン／⽂書内の改⾏・空⽩の出現パターンから判定

第22回SIG-AM研究会

2019/7/7– 対象語と評価語辞書の距離を⽤いた辞書・ルールベースアプローチ• ⼊⼒⽂書から対象語の位置を抽出• ⼊評価語辞書に含まれる単語のうち，⼊⼒⽂書に含まれる全ての単語とその位置を抽出• ⽂書に含まれた評価語について，対象語からの距離を重みとして，ポジ
ティブ／ネガティブスコアを算出する• 全ての評価語について，評判スコアを合計し，最終的なポジティブ・ネガ
ティブ・ニュートラルを判定する
第22回SIG-AM研究会

2019/7/7

6

2019/7/7

ルールベース+αの時期

ホットリンクとAI（人工知能）技術の歴史

ユーザ属性推定

2005年
既存プロダクト
（主力）

機能

2015年

2010年

Ø スパム推定Ø 属性推定Ø 評判分析
Ø キーワード抽出

深層学習
の時期

（性別、年齢、職業等）– ⼊⼒：投稿群

ルールベース・機械学習– 出⼒：各属性のクラス

2019年

深層学習を含む機械学習Ø コミュニティ抽出Ø 情報伝播分析
機械学習 社会ネットワーク分析• ※ブログ著者，性別のみ

アプローチ

の時期

– Support Vector Machineによる⽂書分類

BuzzSpreader（開発中）• 特徴量：Bag of Words• ⼈⼿による学習・テスト⽤データ整備

ルールベース+αの時期

既存プロダクト（主力以外）
第22回SIG-AM研究会

機械学習Ø 株価予測 Ø 選挙予測
Ø 自動レコメンド
第22回SIG-AM研究会

2019/7/7

機械学習の時代

深層学習を含む機械学習Ø 画像解析
Ø 時系列解析Ø キーワード抽出2019/7/7

機械学習の時代
複合語抽出

時期：2010年〜2015年
分析対象

機能

– ブログ/Twitter中⼼• ⼊⼒：SNS投稿（もしくはスニペット）

道具⽴て
– 分類器
• Support Vector Machine– 形態素解析• MeCab：• 辞書：IPADIC– liblinear/Classias– Ipadic-neologd(2015年3⽉）– 係り受け解析• CaboCha/JdepP：商⽤利⽤可能• 出⼒：複合語を含む分かち書き

アプローチ• 品詞の連接情報に対するルールベースアプローチ• マルコフ連鎖(k=2)を想定した実装– 分散表現• word2vec– 「名詞,⼀般」と「名詞,⼀般」は結合する– 「名詞,⼀般」と「接頭詞,名詞接続」は結合しない– KNBコーパス：2009年9⽉

第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

7

2019/7/7

提供機能と利⽤技術の変遷

提供機能と利⽤技術の変遷

評判分析

スパム投稿判定機能機能– ⼊⼒：⽂書，対象語 / ⽂書（２つのタイプの対応）– 出⼒：ポジ／ネガ／ニュートラルの3値及びスコア– ⼊⼒：投稿（ツイート）

アプローチ

アプローチ

– 出⼒：スパム/⾮スパムの2値– 係り受け解析結果と評判語辞書に基づくルールベース• ⼊⼒⽂書を分かち書き／係り受け• 対象語と係り受け関係にあるのうち，評判語辞書にあるものを抽出• 抽出した評価語において，ポジ／ネガのスコアを算出．ただし，係り受けのパターンによりスコアの反転などを実施– スパムツイートの内容に基づくNaïve Bayesアプローチ• 特徴量：Bag of Words, Bag of Word-bigrams• Naïve Bayesを⽤いてスパム判定モデルを学習– ⼿動アノテーションによる学習・テスト⽤データ整備– 係り受け器：JDepP

第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

ルールベース+αの時期

2019/7/7

SNSアカウントのプロフィール推定

ユーザ属性推定

各ユーザ属性の分類に有効な特徴量機能– ⼊⼒：投稿群– 出⼒：各属性のクラス• ※Twitterユーザ，性別・年代

アプローチ

男性

⼥性

⾃⼰紹介︓男⼦

⾃⼰紹介︓⼥の⼦

⾃⼰紹介︓愛しています

⾃⼰紹介︓⼥性

発⾔︓腐⼥⼦

⾃⼰紹介︓キスマイ

発⾔︓⼥⼦⾼⽣

発⾔︓腐男⼦

⼤学⽣

それ以外

50代

それ以外

– Support Vector Machineによる⽂書分類

⾃⼰紹介:回⽣

⾃⼰紹介︓元気⾃⼰紹介︓おじさん

⾃⼰紹介︓⼥⼦• 特徴量：Bag of Words– ⼿動アノテーションによる学習・テスト⽤データ整備

⾃⼰紹介︓⼥⼦⼤ ⾃⼰紹介︓海外旅⾏

⾃⼰紹介︓おばさん

⾃⼰紹介︓ゲーム

発⾔︓レポート

⾃⼰紹介:キロ

⾃⼰紹介︓読書

⾃⼰紹介︓在住

発⾔︓サークル

発⾔︓遠⾜

⾃⼰紹介︓蕎⻨

⾃⼰紹介︓社会⼈

発⾔︓履修登録

発⾔︓職場

発⾔︓膝

発⾔︓(t_t)

第22回SIG-AM研究会

2019/7/7

ソーシャルメディア分析におけるAI技術活⽤とその失敗談

2019/05/25

8

2019/7/7

深層学習の時代

ホットリンクとAI（人工知能）技術の歴史
2005年
既存プロダクト
（主力）

2015年

2010年

Ø スパム推定Ø 属性推定Ø 評判分析
Ø キーワード抽出（性別、年齢、職業等）

ルールベース・機械学習

2019年

時期：2015年〜 現在

深層学習
の時期

– Twitter中⼼ / ブログがOptional

深層学習を含む機械学習Ø コミュニティ抽出Ø 情報伝播分析
機械学習 社会ネットワーク分析の時期

BuzzSpreader（開発中）

ルールベース+αの時期

既存プロダクト（主力以外）

深層学習を含む機械学習Ø 画像解析
Ø 時系列解析Ø キーワード抽出

機械学習
Ø 株価予測 Ø 選挙予測
Ø 自動レコメンド
第22回SIG-AM研究会

分析対象

道具⽴て
– 形態素解析• MeCab：• 辞書：IPADIC-neologd– 分類器• fasttext• Neural Network(Attention
Mechanism

第22回SIG-AM研究会

2019/7/7

深層学習の時代– 分散表現• 単語分散表現：word2vec• ⽂分散表現：BERT– データセット構築• Yahoo！クラウドソーシング• ⾃動アノテーション

2019/7/7

深層学習の時代

複合語抽出

評判分析

機能

機能

– ⼊⼒：SNS投稿（もしくはスニペット）– 出⼒：複合語を含む分かち書き– ⼊⼒：⽂書（タイプ２の対応）– 出⼒：ポジ／ネガ／ニュートラルの3値及びスコア

アプローチ

アプローチ
– BERT + fine-tuning• 1年分のツイートによる⽂分散表現を学習– 辞書の拡充• 名詞：mecab-Ipadic-neologd に依存• ⽤⾔（形容詞・動詞）：SNSに頻出する表現を抽出– クラウドソーシングによる学習・テストセットデータ構築– エモい／ググる／ジワる– 品詞の連接情報に対するルールベースアプローチ• ルールの整理– 「基礎⽇本語⽂法に基づき⾔語現象を整理／対応• 有限状態オートマトンで実装
第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

9

2019/7/7

深層学習の時代

深層学習の時代

スパム投稿判定

ユーザ属性推定機能機能– ⼊⼒：投稿群– ⼊⼒：投稿（ツイート）– 出⼒：各属性のクラス– 出⼒：スパム/⾮スパムの2値

アプローチ

アプローチ

– Fasttextによる⽂書分類– Fasttextによる⽂書分類– データセット構築• 学習⽤データ：いくつかの仮説に基づく半⾃動アノテーション• テストデータ：⼿動アノテーション– NNーbasedアプローチによる4種類属性の同時推定• 性別／地域（都道府県）／年代／職業• 特徴量：word2vec– ⾃動アノテーションによる学習・テストセットデータ構築– モデル⾃動更新の仕組みを導⼊

第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

提供機能と利⽤技術の変遷

0 .9

0 .9

0 .8

0 .8

0 .7

0 .7

0 .6

0 .6

0 .5

0 .5

0 .4

0 .4

0 .3

0 .3

0 .2

0 .2
0 .1

0 .1

m
d_
l
a
m
RT

BE

Bi

LS
TM

+s

em

sk
e

i -s
up

hé

er

_o

v si

n yl

ed

7]
01
.2

.2
[C
lic

D[
C
v1

LS
TM

BE RT+F i ne-Tun n
i g

Bi

係 り 受 け +ル ー ルF -v al ue

書

分 か ち 書 き +ル ー ル

Reca lル

Preci si on

01
7]

0

0

hé

BERT
+ fine-tuning
クラウドソーシング

Accuracy⽐較（深層学習）
1ー

fasttext
NN+ word2vec
クラウドソーシ
ング

性能⽐較

lic

Fasttext
⾃動アノテー
ション

評判分析
1

+ル

Support Vector 分かち書き+
ルールベース
MachineSupport Vector 係り受け+
ルールベース
Machine⼿動アノテーションNaïve Bayes
⼿動アノテー
ション

評判分析

き

ユーザ属性推定

ルールベースon

ルールベース

スパム判定

ち

深層学習

評判分析を事例とした性能⽐較

か

複合語抽出

ルールベース ルールベース+α
機械学習
ルールベース

まとめC

時期

提供機能と利⽤技術の変遷

分

利⽤技術の変遷

2019/7/7

第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

10

2019/7/7

提供機能と利⽤技術の変遷

ホットリンクとAI（人工知能）技術の歴史

ルールベース＋αの時代

200０年– 分析対象データの収集

文書分類 with SVM[Joachims1998]– ルールと辞書の整備• ルール整備 => テスト => 誤り分析 => ルール整備・・・・の繰り返し

2005年

IPADIC

2015年

2010年

性別分類

属性推定

MeCab[Kudo 2006]

機械学習の時代

JdepP[Yoshinaga 2009]– 学習・テストデータの収集– 学習・テストデータへのラベル付け

2019年

評判分析

KNBコーパス[橋本2011]– モデルの選定／パラメータチューニング
Word2vec[Micholov 2013]

深層学習の時代

属性推定

fasttext[Joulin 2017]– 学習・テストデータの収集– アノテーション⼿法の整備
徐々に泥臭い作業は減りつつある• クラウドソーシングの課題設定／⾃動アノテーション

BERT[Jacob 2018]

ルールベースの知⾒が活⽤できている
事前学習済みモデルの活⽤が進みつつある技術の実⽤化までの時間が短い
技術の寿命が縮んでいる– モデルの設定（学習済みモデルの利⽤）
第22回SIG-AM研究会

評判分析

第22回SIG-AM研究会

2019/7/7

2019/7/7

近年の研究開発で活⽤している⼿法・道具

今⽇の発表

クラウドソーシングによるアノテーション
提供機能と利⽤技術の変遷– ⼩規模・⼤量のタスクをクラウドワーカーに依頼するメリット– ⼤規模なアノテーションデータが得られる– ⽀払い⾦額を⾼くすれば，作業時間を短縮できる

近年の研究開発で活⽤している⼿法・道具

デメリット– アノテーターの質・信頼性が均⼀でない• アノテーション結果をそのまま採⽤することはできない– 複雑なタスクを依頼することはできない

その他のデータ分析技術の活⽤と実務上の失敗談第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

11

2019/7/7

近年の研究開発で活⽤している⼿法・道具

近年の研究開発で活⽤している⼿法・道具

クラウドソーシングによるアノテーション

⾃動アノテーション– ⼩規模・⼤量のタスクをクラウドワーカーに依頼する– いくつかの⼿掛かりを元に⾃動で正解ラベルを付与する

デメリットの解消策

例：ユーザのプロフィール推定– アノテーターの質を担保する• チェック質問に回答できたワーカーの結果のみを採⽤• 同じ質問を複数ワーカーに尋ねて，⼀致率が⾼い結果のみを採⽤• １つ辺りのタスクを設問数を多くしすぎない• ⼈⼿で整備したルールに適合するプロフィールを持つユーザに正解ラベルを付与する– アノテーション作業を簡単な部分問題に分解する• 例：評判分析におけるラベルの付け直し• あるデータセットにおいて，不適切と思われるラベルのみ修正する– 付与されたラベルが適切かどうかを尋ねるタスク– 新たにラベルを付与するタスク

第22回SIG-AM研究会

2019/7/7

近年の研究開発で活⽤している⼿法・道具

第22回SIG-AM研究会

2019/7/7

近年の研究開発で活⽤している⼿法・道具

単語分散表現(word2vec)

fasttext（⽂書分類，単語分散表現）– ⾔わずとしれた今の分散表現ブームの⽕付け役– FAIRによる単語分散表現／⽂書分類モデル構築のためのツール– 設定された予測タスクを解くことでNNを分散表現を学習する– 分散表現はいくつかでているが、実⽤上はword2vecで⼗分– 単語分散表現はsub-word informationの利⽤に対応

Continuous Bag of Words

観た

は

NN

NN

昨日

Skip-gram

観た

映画

は

面白かっ
第22回SIG-AM研究会

映画2019/7/7

第22回SIG-AM研究会

2019/7/7

12

2019/7/7

近年の研究開発で活⽤している⼿法・道具

近年の研究開発で活⽤している⼿法・道具

Attention Mechanism

Attention Mechanism– Encoder-decoderモデルにおいて，⼊⼒ベクトルのうち，ピンポイ
ントで参照すべき情報に注⽬するための仕組み– Encoder-decoderモデルにおいて，⼊⼒ベクトルのうち，ピンポイ
ントで参照すべき情報に注⽬するための仕組み– queryに⼀致するkeyを呼び出し，対応するvalueを取り出す仕組み– queryに⼀致するkeyを呼び出し，対応するvalueを取り出す仕組み

kkkkk

q

softmaxquery

softmax

key

v
v
v
v
v

softmax

query

value

Encoder—Decoder
モデル

kkkkk

q

query

key
v
v
v
v
v

Attention weight

kkkkk

q

これ は ペン です 。

softmax

embedding

Decoder
this

is

a

pen

.

Attention Mechanism

BERT（⽂分散表現）– ⽂分散表現の発展– queryに⼀致するkeyを呼び出し，対応するvalueを取り出す仕組み
kkkkk

q

query

Encoder—Decoder
モデル

+

key

ペン です
2019/7/7

近年の研究開発で活⽤している⼿法・道具– Encoder-decoderモデルにおいて，⼊⼒ベクトルのうち，ピンポイ
ントで参照すべき情報に注⽬するための仕組み

softmax

null これ は

Source-Target
第22回SIG-AM研究会Attention

2019/7/7

近年の研究開発で活⽤している⼿法・道具

value

Encoderv

value
第22回SIG-AM研究会

+

key

v
v
v
v
v

Transformer

v
v
v
v
v

value

これ は ペン です 。

Encodersoftmax

embedding

Decoder
this

is

a

pen

.

null これ はSelf-Attention
第22回SIG-AM研究会

Multi-head
Self-attention

ペン です2019/7/7

単方向Transformer
第22回SIG-AM研究会

順方向LSTMと逆方向LSTMの結合
2019/7/7

13

2019/7/7

近年の研究開発で活⽤している⼿法・道具

近年の研究開発で活⽤している⼿法・道具

BERT（⽂分散表現）

BERT（⽂分散表現）– 既存⼿法
• Open AI：単⽅向Transformer– Fine-Tuning• ⼤規模データから⽂分散表現を事前学習• 事前学習したモデルを⽤いて，各タスクに合わせてモデルをFineTuning– 次の単語を予測するタスクを解くため，先の単語を予測できない• ELMO：順⽅向LSTMと逆⽅向LSTMの連結による双⽅向学習を実現– 評判分析であれば，出⼒層をポジ／ネガ／ニュートラルの3出⼒– 順⽅向LSTMと逆⽅向LSTMを同時に学習することができない– 双⽅向Transformer• Randomにマスクされた単語を周辺情報から予測する

第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

今⽇の発表

2019/7/7

インタラクションに基づくユーザ属性推定
⽬的提供機能と利⽤技術の変遷– ソーシャルメディア上のインタラクションに基づく
ユーザ属性を作成したい
⽅法論– Twitter上でのインタラクションからユーザのネット
ワークを構築する– ユーザネットワークにコミュニティ抽出の⼿法を適⽤してコミュニティを抽出したのち、プロフィール⽂で特徴付けし、それをユーザ属性の⼀つとして扱う

近年の研究開発で活⽤している⼿法・道具

その他のデータ分析技術の活⽤と実務上の失敗談第22回SIG-AM研究会

貢献– Twitterユーザ特有の興味・関⼼を反映したラベルをユーザに付与することができる
2019/7/7

第22回SIG-AM研究会

2019/7/7

14

2019/7/7

インタラクションに基づくユーザ属性推定

インタラクションに基づくユーザ属性推定
ソーシャルメディア上のソーシャルキャピタルを分析することで，定性的に理解可能なコミュニティを構成することができる
10%⽇本語ツイート

1. Twitter上の相互コミュニケー
ションからユーザネットワークを構築
2. ユーザネットワークからコミュニティを抽出（Louvain法）
3. コミュニティごとにユーザプロフィー
ル⽂を取得し、コミュニティ⽂書を構築
4. 各コミュニティ⽂書から特徴語群を抽出（TF-IDF）
5. 特徴群を⽤いて，各コミュニティにWikipediaタイトルによるラベ
ルを付与

相互メンション

Louvain法
Q = * 𝑒++ − 𝑎+/

ユーザコミュニティ

+仮定

Twitter
ユーザDB

相互メンションしているユーザは同じコミュニティ

tf-idfWikipedia
記事データ
第22回SIG-AM研究会

コミュニティ
⽂書

コミュニティ
⽂書

コミュニティ
特徴語

コミュニティ
特徴語

コミュニティ
ラベル

コミュニティ
ラベル
第22回SIG-AM研究会

2019/7/7

2019/7/7

インタラクションに基づくユーザ属性推定

インタラクションに基づくユーザ属性推定

インタラクションをベースとしたネットワークを⽤いることで、定性的に理解可能なコミュニティを構成することができる

インタラクションをベースとしたネットワークを⽤いることで、定性的に理解可能なコミュニティを構成することができる
種類

種類

⼈⼿
ラベル

⾃動
ラベル

特徴語

地域

新潟

新潟市

野球

北越

⻑岡 向陽

新津

niigata

地域

福島

福島市
郡⼭
野球
⽇本のプロ
野球選⼿⼀ ファン 応援覧
ポケットモ
ンスターの ゲーム スマ
⽤語⼀覧

明成 ⽩河

安積

⽩河

選⼿ 阪神

カープ

観戦

趣味
趣味

野球
ポケモン

第22回SIG-AM研究会

パズ
ブラ
ドラ

レート

アニメ

2019/7/7

職業
職業
政治・
思想
政治・
思想

⼈⼿
⾃動
ラベル ラベルエンジ
Pythonニア

特徴語
エン
engineehaskell python ジニ vim microsoft
ruby
r
ア

トレー
投資信託 投資ダー
ネット ⾃由⺠主党
安倍
右翼
(⽇本 )
左翼

原⼦⼒
発電

原発

トレー
ダー

fx

原発

反⽇ ⽀持 ⽇本

保守

政権

反対

nukes

racis
tpp
m

戦争

被曝

第22回SIG-AM研究会

株式 トレード 相場

先物2019/7/7

15

2019/7/7

インタラクションに基づくユーザ属性推定
インタラクションをベースとしたネットワークを⽤いることで、定性的に理解可能なコミュニティを構成することができる
属性種類
興味・関⼼
ファン
政治思想
職業
地域⾼校
地域⼤学

属性ラベル
サッカー,野球，アニメ（⼥性），アニメ（男性），ゲーム， テーマパーク，創作（⼩説，絵，歌）
アイドル，ジャニーズ,⼥性声優，男性声優，
ミュージシャン（J-POP，K-POP）
⾃⺠党⽀持，⺠進党⽀持
研究者，トレーダー，エンジニア
静岡県, 栃⽊県，⼤阪府，沖縄県
東京都, 九州，中部，近畿
第22回SIG-AM研究会

インタラクションに基づくユーザ属性推定
Louvain法– Modularityという指標を最⼤化するクラスタリング⼿法– 既存のModularity-basedクラスタリング⼿法よりも、⾼速に処理することが可能– Modularity： Q = ∑ +∈2

実際にクラスタ𝑖 に含まれるエッジ数の割合

/5

−

64

/

/5

ランダムグラフにおいて
クラスタ𝑖 に含まれるエッジ数の割合

第22回SIG-AM研究会

2019/7/7

インタラクションに基づくユーザ属性推定

3 44

2019/7/7

ハッシュタグ推薦（画像）⽬的

TF-IDF法– ある⽂書集合において，各⽂書に特徴的な単語に⾼いスコアを与える– 𝑡𝑓𝑖𝑑𝑓 𝑡, 𝑑, 𝐷 = 𝑡𝑓 𝑡, 𝑑 ×𝑖𝑑𝑓 𝑡, 𝐷>

• 𝑡𝑓 𝑡, 𝑑 = ∑ ?,@
=
>
A

A,@

– ⼊⼒した画像からInstagramらしいハッシュタグを取得
したい
⽅法論

⽂書B内の単語Cの出現頻度
⽂書B内の全単語出現頻度– 単語tの⽂書dにおける出現頻度に関する重み– 単語tの出現回数が⼤きいほど⼤きくなる– ⽂書dが⻑い⽂書であるほど⼩さくなる• df 𝑡, 𝐷 =F:H4 ∈F
I=

単語Cが含まれる⽂書数
全⽂書集合Jに含まれる⽂書数

N• idf 𝑡, 𝐷 = 𝑙𝑜𝑔 BO H,I

貢献– 単語tが含まれる⽂書数に関する重み– 単語tが含まれる⽂書数が少ないほど値が⼤きくなる

第22回SIG-AM研究会

社外秘（スライド公開時はマスク予定）– 特定のユーザ群をターゲットとする場合のコンテンツ作成やクリエイティブ作成の⼿掛かりとなる
2019/7/7

第22回SIG-AM研究会

2019/7/7

16

2019/7/7

ハッシュタグ推薦（画像）失敗談その１：更新されないモデル
⾃社製品／ブランドについて、どこの誰が興味を持っているかがわからない

マーケティング
担当者

第22回SIG-AM研究会

最初の仕組み第22回SIG-AM研究会

2019/7/7

失敗談その１：更新されないモデル

ユーザの属性推定

2019/7/7

失敗談その１：更新されないモデル
データの流れ
DB
処理・分析

処理
スタート

最初の仕組みデータの流れ
DB
処理・分析

処理
スタート

機械学習モデル

著者DB
新規ユーザリスト
プロフィール文

機械学習モデル

著者DB

著者DB
更新

新しいユーザが増えない

担当者が退職して、著者DB動かし⽅が分からない︕
更新
新規ユーザリスト
プロフィール文

属性ラベル
属性分類器

予測

会社員が⾼校⽣に︕

特徴ベクトル
投稿データ 特徴ベクトル
作成
投稿DB
第22回SIG-AM研究会

属性ラベル

2019/7/7

属性分類器

予測

特徴ベクトル
投稿データ 特徴ベクトル
DBの構造が変わって、作成
久々に動かしたら
投稿DB 動かない︕
第22回SIG-AM研究会

2019/7/7

17

2019/7/7

失敗談その１：更新されないモデル
リファクタリング失敗談その１：更新されないモデル

Twitter
データ

データの流れDB
処理・分析

リファクタリング

Twitter
データ

データの流れDB
処理・分析

機械学習モデル

著者DB
新規ユーザリスト
プロフィール文
正解データ

正解データ判定（⼈⼿ルール）

特徴ベクトル
特徴ベクトル
作成

著者DB
更新

新規ユーザリスト
プロフィール文

非正解データ

正解データ
属性ラベル

属性分類器
追加学習

属性分類器

予測

特徴ベクトル
投稿データ 特徴ベクトル
作成

投稿データ

機械学習モデル著者DB

本⽂DB
第22回SIG-AM研究会

正解データ判定（⼈⼿ルール）

非正解データ

属性ラベル

属性分類器
追加学習
特徴ベクトル
特徴ベクトル
作成

著者DB
更新

属性分類器

予測

特徴ベクトル
投稿データ 特徴ベクトル
作成

投稿データ

本⽂DB
モデルの⾃動更新まで含めてシステム化しましょう
第22回SIG-AM研究会

2019/7/7

失敗談その２：死蔵累々

2019/7/7

失敗談その２：死蔵累々

数々の死蔵品・・・・

数々の死蔵品・・・・
弊社の顧客は⽇本企業ばかりなので中国語読めない︕

問題は、むしろコ
ミュニケーションだった︕

予測できてもアクションがうてない︕
欲しかったのはもっと中⻑期の予測
社外秘（スライド公開時はマスク予定）
第22回SIG-AM研究会

社外秘（スライド公開時はマスク予定）
そのイシューが、本当に必要とされているかを精査しましょう
2019/7/7

第22回SIG-AM研究会

2019/7/7

18

2019/7/7

失敗談その３：新しすぎる技術の本格活⽤失敗談その３：新しすぎる技術の本格活⽤

新たなテキスト分析処理基盤開発プロジェクト

新たなテキスト分析処理基盤開発プロジェクト– 2012年当時
共起語分析
係り受け分析
評判分析
全文検索エンジン

全文検索エンジン

分散処理（インメモリーデータグリッド）

分散処理フレームワー
クVer1.x第22回SIG-AM研究会

第22回SIG-AM研究会

2019/7/7

失敗談その３：新しすぎる技術の本格活⽤

2019/7/7

おわりに新たなテキスト分析処理基盤開発プロジェクト– 2012年当時
共起語分析

分析機能を使うとすぐ⾼負荷に︕

マッチしてないテ
係り受け分析
キストが分析結果
に含まれる︕
Hazelcastとの互換性維持のために
全文検索エンジ
分散処理
バージョンアップ（インメモリーデータグリッド）
ン
できない︕

おわりに

評判分析

Ver1.x
⼤規模システムの本番開発には、ある程度枯れた技術/技術の組み合わせを使いましょう
第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

19

2019/7/7

おわりに

参考⽂献
[Joachims1998] Text categorization with support vector machines: Learning with

ホットリンクでの利⽤技術の変遷を紹介

many relevant features, Thorsten Joachims, ECML, 1998

– 徐々にモデル構築のみに注⼒できるようになってきた– 最先端技術が実⽤化されるまでの期間が年々短くなってきている• つまり，技術の賞味期限も短くなってきている[Kudo 2006] MeCab, Taku Kudo, https://taku910.github.io/mecab/[Yoshinaga 2009] JDepP, Naoki Yoshinaga, http://www.tkl.iis.utokyo.ac.jp/~ynaga/jdepp/[橋本2011] 構⽂・照応・評判情報つきブログコーパスの構築.橋本⼒, ⿊橋禎夫, 河原

研究開発で活⽤している⼿法・道具の紹介

⼤輔, 新⾥圭司, 永⽥昌明. (2011). ⾃然⾔語処理 Volume 18, Number 2, pp.175-201.

– アノテーションの労⼒を減らす⼿段が増えてきている– 事前学習モデルの活⽤により，精度向上が容易に

その他のデータ分析技術の活⽤と実務上の失敗談– ⾃然⾔語処理と他の技術の組み合わせも有⽤– 実務では，⻑期に使われることも想定する必要がある
第22回SIG-AM研究会

2019/7/7[Micholov 2013] Distributed Representations of Words and Phrases and their
Compositionality, Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, Jeffrey
Dean, CoRR
[Joulin 2017] Bag of Tricks for Efficient Text Classification, Joulin, Armand andGrave, Edouard and Bojanowski, Piotr and Mikolov, Tomas, EACL, 2017
[Jacob 2018] BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding, Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova
第22回SIG-AM研究会

2019/7/7

CM：学習済みモデルの配布
単語分散表現：hottoSNS-w2v

以下、おまけスライド– https://github.com/hottolink/hottoSNS-w2v
モデル

相関係数

⽇本語⼤規模SNS+Webコーパス

0.548

Wikipedia (ホットリンク)

0.478

Wikipedia (東北⼤)0.472

⽂分散表現：hottoSNS-bert– https://github.com/hottolink/hottoSNS-bert
モデル名

分かち書き

学習⾔語 学習ドメイン

BERT Multi

WordPiece

多⾔語

Wikipedia

BERT JP

SentencePiece

⽇本語

Wikipedia

hottoSNS-BERT SentencePiece

⽇本語

Twitter

第22回SIG-AM研究会

2019/7/7

第22回SIG-AM研究会

2019/7/7

20