日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）

特集：データサイエンスの現状と将来

ビッグデータからの情報抽出とその応用

中原 孝信†1

羽室 行信†2

概要：インターネットの普及とともに，SNS やセンサー技術など新しいサービスや技術が一般的になり，身近に利用できるようになったことで，これまでに比べて膨大な量のデータが蓄積されている．近年ではそのようなビッグデー
タをビジネスに活用するための取り組みが注目されており，ビッグデータを分析し得られた情報から，経営戦略の策
定，市場の調査・分析、商品・サービスの品質改善，そして，業務の効率化など，さまざまな業務への適用が試みられている．ビッグデータを用いることで，これまでには知ることのできなかった現象の把握や予測精度の向上などが期待されているが，ビッグデータには多くのノイズが含まれており，有用な情報抽出のためにはノイズうまく扱う必要がある．本稿では， 出現頻度を利用して，ビッグデータからノイズとなるような分析の信頼性を損なう関係性を除去し，意味のある関係性を抽出する技術であるグラフ研磨を紹介し，ソーシャルデータである Twitter からの意見抽出を目的に 2 部グラフを利用した応用研究を示す．
キーワード：ビッグデータ，情報抽出，グラフ研磨，2 部グラフ，データクリーニング

1. はじめに
情報通信技術は，インターネットの発明以来とどまるこ

して IoT，人工知能，ビッグデータなどの革新的技術の活用を成長戦略の 1 つに挙げており，ビッグデータへの期待が高まっている [15]．

とのない発展を続けており，革新的な製品とサービスが生み出されている．Google, Facebook などの大手企業は情報

1.1 ビッグデータの特徴

通信技術の利点を活かしたビジネスを展開しており，

ビッグデータの特徴は，Volume, Velocity, Variety という 3

Google は，検索サービス，地図アプリ，メールソフトなど

つの V で表現されている [1]．Volume は，データ量についのソフトフェアを無料で提供することで，ユーザを Googleての特徴で，Facebook では 1 日のデータ処理量は 600TB に

プラットフォームに集めている．Facebook はソーシャル・及んでおり，300PB のデータベースにデータが蓄積されてネットワークによる人と人とのつながりを軸に「いいね」

いる [9]．また Twitter では 1 日に 5 億件以上のツイートがや「タイムライン」などユニークな機能とともに世界中か投稿されており，1 秒間の投稿数の最高は 143,199 ツイー

ら利用者を獲得している．

トで，日本ではおなじみの「天空の城ラピュタ」の放送時

これらの企業は無料でサービスを提供し，自ら所有するである [13]．そして，小売店の最大手であるウォルマート

プラットフォームに集客することで，検索履歴，閲覧履歴，

では，1 時間に 100 万人以上で 2.5PB 以上の取引データがソーシャル・ネットワークなどの膨大な履歴をビッグデー

処理されている [14]．このように日々蓄積されているデー

タとして獲得している．そして，ビッグデータからユーザ

タ量はますます膨大になっている．

のニーズや興味を把握し，ユーザにクリックされやすい広次に Velocity は更新速度を表している．これはデータ量

告を配信するシステムを構築することで，巨万の富を得てだけではなくその更新頻度がビッグデータを特徴づけておいる．

り，サーバーのアクセスログやセンサーデータなど時々インターネットを活用したビジネスモデルでは，製品やサービスだけが収益源ではなく，ビジネスの源泉はデータ

刻々とリアルタイムに更新されるデータを処理するための必要性が高まっている．

にある．膨大な数の行動ログや履歴データなどのビッグデ

3 つ目の Variety は，データの多様性を表しており，Blog

ータを解析することでユーザのニーズ，好み，行動の特徴

や Email などに記載されるテキスト情報から，SNS に投稿を把握し，その情報にもとづいてユーザとコンテンツのマされる写真などの画像データ，RFID タグなどのセンサー

ッチングにより収益を挙げている．

データ，スマートフォンから更新される GPS などの位置情

今後は、全てのものがインターネットにつながるという概念である IoT への注目から，より多くのセンサーデータ

報データがあり，これらのデータの大部分は，過去 10 年ほ
どの間に生まれてきた新しいデータである．

が収集され，ビッグデータの利活用は一部の IT 企業だけでビッグデータを用いることで，これまでに知ることのではなく，家電メーカーや自動車メーカーなどあらゆる分野きなかった現象の把握や予測精度の向上などが期待されてに広がっていく．更に安倍政権でも「第 4 次産業革命」と†1 専修大学（連絡先：nakapara@isc.senshu-u.ac.jp）†2 関西学院大学ⓒ 2017 Japan Social Data Science Society- 15 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
おり，ビッグデータから未来の行動に有用な情報と知識の2 月 15 日に投稿された匿名ブログでは，保育園の入園選考抽出が求められている [8]．しかしながら，ビッグデータにに落ちたことに対して国に不満をぶつけた内容が，子育て

はノイズが多く含まれている．それは，観測データの欠陥をしている母親らの共感を集め，待機児童問題に関して国だけではなく，ソーシャルデータの内容に信頼性や信憑性の政策を動かす程の大きな反響を得ている [12]．このようがないものも含まれている．したがって有用な情報抽出のに SNS やブログでは日々膨大な投稿が行われており，そのためにはノイズを見つけて除外することが重要である．ま中に埋もれている重要な意見や，多数の意見を要約して提た，センサーデータなどの生データは，それだけでは役に示することには意義がある．

立たないものが多く，例えば GPS の位置情報は他のランド

これまでにも著者らは，安倍首相の育休 3 年の要請といマークなどのデータと統合することで意味を持つため，オう発言 (2013 年 4 月 18 日) によって，ツイートの話題がどープンデータなど外部データの整備も合わせて必要になる．

のように変化したかを捉える方法を提案した [5]．

ビッグデータから有用な情報を抽出するためには，1) ビ

そこでは，単語間の関係性を表す類似度グラフを構築し，ッグデータにアクセスし処理できる基盤技術，2) マイニン

そこから密部分グラフを単語クラスタとして抽出すること

グアルゴリズム，そして 3) ビッグデータから得られる情で，文章要約を実施した．

報をドメイン知識にもとづき意味解釈することが重要である．

本研究では，単語間の関係性を一般グラフではなく，格フレームを用いた 2 部グラフで表現し，2 部グラフの研磨

本稿では上記 3 つの観点を考慮したビッグデータからの手法を適用する．そして，研磨後の 2 部グラフから要素の応用として，1) 大規模 CSV データ分析プラットフォーム

重複が少ない極大 2 部クリークを抽出し，それらをトピッ

である NYSOL1を利用する．2) 出現頻度にもとづく関係性

クとして利用する．最終的にそのトピックを含むツイートを考慮して意味のあるグラフ構造を抽出する技術であるグをクラスタリングすることで文書の要約を行う．

ラフ研磨を紹介する．そして応用研究として 3) ソーシャ
ルデータである Twitter からの意見抽出とその解釈を示す．
次節以降の応用研究は，2016 年人工知能学会全国大会の報
告内容 [6] をもとに加筆・修正を行った．

2.

手法
本研究では，図 1 に示す方法でツイートの文章要約を実施する．まず，(1) ツイートを構文解析し，格助詞句と用言
1.2 育児休業を対象とした Twitter からの意見抽出

句のペアからなる格フレームを抽出する．そして，格フレ

1992 年に育児休業法が施行されてから育児休業制度のームを 2 部グラフで表現する．次に (2) 2 部グラフにデー

導入は広がっており，2014 年には従業員数が 30 人以上のタ研磨手法を適用する．データ研磨はグラフのクリーニン

事業所では 94.7%で育児休業制度が規定されている．そしグ方法の 1 つであり，グラフから極大クリークを列挙するて，女性の育児休業取得率は 86.6%になっている [11]．し際に，同じようなクリークが多数列挙されるという重複問

かしながら，第 1 子の出産を機に有職女性の 54.1%が退職

題を解決するためにグラフのクリーニングを実施する．(3)しており [10]，出産・育児を経た就業継続はいまだに困難

データ研磨後の 2 部グラフから極大 2 部クリークを列挙し，である．

得られた 2 部クリークをトピックとして利用する．そして，

少子高齢化により日本の労働力人口は減少しており，労(4) そのトピックを含むツイートをクラスタリングするこ

働力人口を確保するためには，現在働いていない人に働いとで要約を行う．最後に比較手法から得られた要約と比較てもらうか，働いている人の離職率を下げる必要がある．

するために，(5) アンケート調査を実施し，提案手法の性能

特に第一子出産による女性の離職率は高く，その時期の離を評価する．

職率を下げ就業継続を高めることが労働力人口を維持するためにも重要となる．このような中，安倍政権は待機児童
数ゼロの実現を掲げたり，女性活躍推進法を新たに制定したり，成長戦略の中核に女性の活用を据えている．女性にとって働きやすい環境を提供し女性の就業継続率を上昇させることは，重要な課題の 1 つである．
本研究では，育児休業（以下、育休）についての Twitter
投稿に注目し，一般の人々の声を要約する方法を紹介する．
そして，育休に対する率直な意見や，育児と仕事の両立の
図1

ために必要な政策などの情報を得ることを試みる．2016 年
1 http://www.nysol.jpⓒ 2017 Japan Social Data Science Society- 16 -

分析の概略図日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）を提案してきた [3]．データ研磨のアイデアは，密度の濃い
2.1 データクリーニング

部分グラフはより濃く，薄い部分グラフはより薄くするこSNS などのソーシャルデータには，多くのノイズとなるとで，本質的な構造を失うことなくグラフを明確化するもデータが含まれており，Twitter データでもそれは同様であのである．このことにより列挙されるクリーク数を削減する．まず分析上意味のない用語やツイートを取り除く必要

る効果が得られる．本研究では，データ研磨を 2 部グラフがあり，それは分析内容に依存する．

に対して適用することで，2 部グラフを明確化し，重複の一般的に自然言語処理では，単語（形態素）を対象に処少ない極大 2 部クリークを列挙する．

理を行うが，その際にはストップワードを除く必要がある．

2 部グ ラ フの 頂点 集合 を
,…,

,

,…,

,

ストップワードは，あまりにも一般的な語で分析精度の向,上のためには除外せざるを得ない語である．日本語では，また，助詞や助動詞などの「は」「が」「です」や「それ」などのの研磨アルゴリズムを Algorithm 1 に示す．ここで示すアル

指示代名詞である．また，除外すべきノイズとなるツイー

ゴリズムは，効率の悪い方法ではあるが，理解のし易さをトも存在しており，本研究では「育休」「育児休暇」を検索優先させている．

とし，を に隣接する の頂点集合とする．

を に隣接する の頂点集合とする．2 部グラフ語としてツイートを取得しているが，育休は「体育休み」
や「保育休み」などの語にも一致するため「体育休」や「保Algorithm 1育休」に一致したツイートは除外する必要がある．

1: function BIPOLISHING

2 部グラフ研磨アルゴリズム∪ ,また Twitter には Bot と呼ばれる自動投稿プログラムに

2:, : 頂点集合， : 辺集合， ,よる投稿も多く含まれており，それらの投稿には意味がな

3:,

for all

いため Bot からの投稿は除外する必要がある．Bot による

4:

投稿は Twitter のスクリーン名に「bot」と含まれている場

5:

合が多く，そのようなスクリーン名を持つアカウントは除6:

外する．リツイートは投稿の持つ影響力を評価する上では

7:

,

∅

’∈

do

if sim,10:

end for11:

for all法の 1 つは bag-of-words (BOW) であり，単語の出現だけを12:考慮したベクトルで文章を表現する方法である．BOW に’

end if

これまで文章を表現するために最も利用されてきた方∈

doif sim,13:

すが，単語の出現順序や文章の構造を無視しているため，

14:

’

’∪

文章の意味を表現する場合にはその点が問題となる．一方

15:

’

’∪

で，格フレームは，ガ格やヲ格などの格助詞句と，動詞や

16:

end if形容詞などの用言句のペアによる表現で，「育休を，取得す17:

end forる」「保育園が，一杯だ」など，格フレームによって文章の18:

end for19:

return

本研究では，ツイートから格フレームを抽出するために，

then ▷ 接続関係が似ていれば枝を張り，似ていなければ張らない

よる表現は非常にシンプルで，ときに有用な結果をもたら意味を表すことができる，

then▷ 接続関係の類似する頂点を保存
∪

8:
9:

2.2 格フレームを用いた 2 部グラフの構築: 類似度下限値

do

重要であるが，意見の要約では同じ文章は必要ないためリツイートを利用する必要はない．

,▷頂点集合，辺集合の初期化∈

for all,∪,’ ∪ ’, ’20: end function

日本語の自然言語処理ソフトである KNP [4] を利用し，格解析を実施することで格フレームを抽出する．そして，得2 部グラフの研磨は，部間の接続関係の類似性に着目しられた格フレームを 2 部グラフで表現する．2 部グラフとたグラフ研磨手法である．まず， への接続関係が頂点 と

は，グラフ

∪

,

の任意の頂点集合 と が枝で接類似した頂点集合 （ 自身も含む）を見つけ出す（6～10 行続されたグラフである．抽出した格フレームを構成する格目）． を格助詞句集合， を用言句集合とすると，用言句

助詞句と用言句をそれぞれ , として頂点を枝で結ぶこととの結びつき（共起関係）が格助詞 と類似した格助詞句部

で 2 部グラフを生成する．

分集合がSとなる．今度は逆に ∈る． の接続先の頂点集合 (2.3 2 部グラフの研磨から への接続を調べ⊆ ) と ⊆ との類似性を判断し（12 行目），類似していれば，節点 , を接続し，これまで著者らは一般グラフを対象にしたデータ研磨

類似していなければ接続しない．このことにより，お互いⓒ 2017 Japan Social Data Science Society- 17 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）の共起関係において類似した格助詞句 と格助詞句 に枝して，意味内容が類似したツイートをまとめることで行う．

を張り直すことが可能となる．

ツイート に出現するトピック集合を以上の操作により，オリジナルの 2 部グラフに枝,がなくても，お互いの共起関係において類似していれば新規に枝が追加されることになり，逆に，枝,が存在していするトピック集合を，ツイート に出現とすると，2 つのツイートの類似度は以下の式 (2) で計算する。これは式 (1) と同様に jaccard
係数である．

ても，類似していなければその枝は削除されることになる．
このようにグラフ研磨は，部間の接続関係（お互いの共起jc ,関係）によってオリジナルの 2 部グラフのグラフ構造を変

|
|

∩
∪

|
|

(2)

更するため，一方的な共起関係が省かれ，またサンプリン
グ上共起が少なくなっているような関係性を修復するなど，

jc ,部間の関係性の明確化およびノイズのクリーニングとして類似度グラフを生成する．そして，そのグラフに対しての効果が期待できる．

Newman クラスタリング [7] を行うことでツイートのクラ類似度（7, 12 行目）はさまざまな定義を用いることがでがある閾値 以上の場合にツイート間に枝を張り，スタを生成する．

きるが，本計算では jaccard 係数を利用する．2 つの頂点集
合 と の jaccard 係数による類似度は，式 (1) の通り定義
される．

2.5 手法の評価提案手法では，ツイートをクラスタリングするための素性を 2 部グラフのデータ研磨と極大 2 部クリークによって

sim

,

| ∩ |
| ∪ |

(1)

生成することを示した．素性とは文章を特徴づける属性で，
例えば，単語，文字，概念などを表す．ここでは，提案手法の有効性を評価するために異なる 3 つの方法で素性の生

上記のアルゴリズムを利用し，新たに構成されたグラフ成を行う．1 つ目は 2 部グラフの研磨を行わずに極大 2 部を入力として，同様の研磨手法を繰り返し適用し，グラフ

クリークを列挙し，それを素性とする方法である．2 つ目の構成に変化がなくなるか，もしくはユーザの指定した最は BOW を素性として利用した方法，3 つ目はトピックモ

大繰り返し回数に達すれば終了する．そして，最終的に得デルである Latent Dirichlet Allocation (LDA)2 を利用した方られた 2 部グラフが研磨後の 2 部グラフである．

法である．
評価の方法は，代表ツイートを一様ランダムに 1 つ選択

2.4 極大 2 部クリークの列挙とツイートの要約

し，手法毎にそのツイートを含む同一のクラスタから別の格フレームを表した 2 部グラフから密な部分グラフを抽ツイートをランダムに選択する．そしてアンケート調査を出することで，似た意味を表すクラスタが抽出できている

実施し，各手法から選ばれたツイートと代表ツイートを比と考え，それをツイート内容の要約に利用する．つまり，較してもらい，代表ツイートに最も近いツイートを選んだ

研磨後の 2 部グラフから極大 2 部クリークを列挙し，それ手法を 1 位として，4 位までの順位をつけてもらう．なお，をトピックとしてツイートの要約を行う．2 部グラフの頂複数の手法で甲乙つけがたい場合は同一順位を与えてもら

点部分集合

⊆ ,

⊆ に対して， の任意の頂点と の任うことにした．

意の頂点の間に枝があるとき， と を合わせた頂点集合を
2 部クリークとよぶ．そして，ある 2 部クリークが他の 2部クリークに含まれないとき，その 2 部クリークを極大 2部クリークとよぶ．

3. 手法の適用
本研究では，2012 年 10 月から 2015 年 1 月 1 日の期間

データ研磨の特徴の 1 つは，グラフに含まれるノイズをで，「育休」「育児休暇」のどちらかを含むツイートデータ

除去し，グラフ構造が明確化されることで，列挙されるク

約 28 万件（13 万ユーザー）を利用し，クリーニング後のリーク数を大幅に削減できることである．本研究で利用しデータは約 20 万ツイートを対象とした．

たデータに対しても研磨をおこなわなかった場合には，
264,733 の極大 2 部クリークが列挙されるが，研磨後の 2 部
グラフから列挙される極大 2 部クリーク数は 1,611 で，約99%の削減ができている．

3.1 2 部グラフ研磨の結果最初に格フレームを抽出し，2 ツイート以上に出現する
格フレーム 37,003 種類を分析対象として 2 部グラフを生成

文章の要約は，ツイートが持つトピック（極大 2 部クリした． は 13,891 種類の格助詞句で， は 4,628 種類の用言ーク）を用いて内容の類似するツイートをクラスタリング

句であった．この 2 部グラフに対して 2 部グラフの研磨を

2 計算は R の LDA パッケージを利用した．

ⓒ 2017 Japan Social Data Science Society- 18 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
適用した結果を表 1 に示す．

表1

研磨の閾値と極大 2 部クリーク数の関係

表 1 は と の値をそれぞれ 0.1 ずつ変化させた場合に得られた極大 2 部クリーク数を示している．全体的な傾向

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

は，各閾値を大きくすると得られる極大 2 部クリーク数は

0.1

2,139 2,332 2,021 1,755 1,634 1,329 1,130 1,028

945

少なくなっている．これは， が大きくなると，用言句へ

0.2

2,779 2,501 2,006 1,710 1,578 1,229 1,052

938

0.3

3,891 3,027 2,409 1,987 1,870 1,376 1,229 1,193 1,144

0.4

4,261 3,261 2,665 2,215 2,112 1,519 1,405 1,373 1,339の接続関係が強く類似した格助詞句だけが選択されるため，選択される格助詞句が少なくなるためである．そして

991

0.5

4,274 3,299 2,737 2,308 2,210 1,604 1,492 1,460 1,426が大きくなると，選択された格助詞句の多くが共通する用

0.6

4,329 3,409 2,884 2,445 2,374 1,699 1,608 1,590 1,573

言句への関係を持っていなければ枝が削除されるため，疎0.7

4,326 3,420 2,900 2,465 2,396 1,730 1,642 1,624 1,607

な 2 部グラフになる．したがって，列挙される極大 2 部ク

0.8

4,324 3,420 2,902 2,468 2,399 1,734 1,645 1,627 1,610

リーク数も少なくなる．

0.9

4,321 3,421 2,903 2,468 2,399 1,734 1,646 1,628 1,611

図2

ツイート要約の結果

3.2 ツイートの要約
本研究では研磨のパラメータとして，最も高い閾値であ定される．結果として約 20 万のツイートから約 12,000 のクラスタが構成された．

る 0.9 を設定し，得られた 1,611 の極大 2 部クリークを利

図の点は 1 つのクラスタを示しており，点の大きさは，用してツイートの要約を行った．得られた極大 2 部クリー

クラスタに含まれるツイート数に対応している．図には 15

クは，{育休 3 年ガ-る, 育休 3 年ガ-批判噴出, 育休 3 年ガ-ツイート以上を含むクラスタのみを示している．また，図活気, 育休 3 年ガ-育児子育て支援} や {夫ガ-育児しない,の軸は各クラスタに含まれるツイートの投稿日から計算し

夫ガ-育児休業取得する, 夫ガ-薬局長} のように比較的意

た尖度と期間を表しており，縦軸の尖度が高いと短期間で味の取りやすいものが多かった．

投稿数が多くなっていることを示している．また横軸の期

これらの極大 2 部クリークを持つツイートをクラスタリ

間は，各クラスタで最初に投稿された日から最後に投稿さングした結果が図 2 である．ツイートの類似度グラフを作れた日までの期間を表しており，同一の話題がどの程度の成する際に利用した閾値 は 0.6 とした．また Newman ク

期間で展開されたかを示している．

ラスタリングを利用することでクラスタ数を指定する必要

たとえば，尖度が 66，期間が 280 の「仕事復帰 ヲ-後押はなく，Modularity Q が最小になるようにクラスタ数が決しする」というクラスタは全体で 67 件のツイートからなⓒ 2017 Japan Social Data Science Society- 19 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）るクラスタである．尖度は他のクラスタに比べて大きい値

キャリア形成への影響なども考慮した制度の整備が必要にであり，ある程度まとまった期間に投稿されていることをなってくる．

表している．実際には 2013 年 5 月 21 日，22 日に 60 件のツイートが投稿された．また期間の 280 日は，同じ話題が

3.3 手法の比較

280 日に渡って投稿されているが，尖度が高いため多くの決定木，SVM，回帰モデルなどの教師あり学習では，デツイートは 5 月 21 日，22 日の 2 日間に集中しており，そータから正しく分類が行われたかを確認することはできる

れ以外の期間は少ない投稿が分散していることを表していが，クラスタリングなどの教師なし学習では，性能を評価る．

することは難しい．クラスタリングの性能を評価するため

このクラスタは「育休 3 年が仕事復帰を後押しするか？」には，前節で示したようにクラスタの中身を確認し意味解という内容の記事に対しての意見が投稿されたもので，「問釈が可能かどうかで判断することはできるが，客観的な評

題はこの制度の対象にならない非正規雇用が多い点だ」「中価を与えることは困難である．

小企業が 99.7%の日本では、まず 3 年も待てない」「浦島太

そこで本研究では，複数の方法で得られたクラスタを評郎になりそう」「二人目できたら 6 年休むのか？」「女性に価するために，アンケート調査を実施した．アンケート調

プラスではなく，子供に何がプラスかをまずは考えるべき

査以外の方法としては，近年クラウドソーシングが身近にだ」など否定的な意見が圧倒的に多く，「私は年齢的にぜひ利用できるようになってきており，不特定多数の評価者を賛成！」という少数の賛成意見もあった．

低コストで集めることが可能になってきている．クラウド

また，その横の「辞める_デ-なる（否定）」は，「辞めなくなっただけで」という文節に対応したクラスタで，「女性社

ソーシングを利用し，人間と計算機による協調から問題解決に繋げる研究も行われ始めている [2]．

員，辞めなくなっただけで戦力になっていない．育休，時アンケートによる評価は，2.5 節に示す方法で実施し比較短の増加で企業疲弊」という記事に対してのツイートが投を行った．一人の被験者には，10 ツイートを代表ツイート

稿されており，65 件のツイートからなるクラスタで 2013

として選択し，合計で 10 人の被験者にアンケートを実施

年 3 月 14 日，15 日に 57 件の投稿が行われていた．「男性した．提案手法，研磨なしの極大 2 部クリーク，BOW，LDA

社員にも戦力にならないやつ大量にいるのに」「男女関係なの 4 種類の方法から選ばれたツイートと代表ツイートを比しに，稼げば雇う，稼がないなら解雇でよくないか？」「う較して，内容の近い順に 1 位から 4 位までの順位をつけてちや周りの女性社員は優秀だが」「総合職キャリア組のためもらった．LDA のパラメータは，の施策を腰掛け OL ばかりが使っているから」等の様々なータの更新は Collapsed Gibbs sampling を利用した．

意見が投稿されている．

0.1,

0.1でパラメ

表 2 は，全アンケートの中から 1 つの代表ツイートだけ尖度が低く，期間の長いクラスタとしては，「育休 ガ-取を抜き出したものである．比較 1 は提案手法，2 は BOW，れない」（期間 736，尖度 0）のクラスタで，育休が取れな

3 は研磨なしの極大 2 部クリーク，4 は LDA である．実際

いことに対しての様々な意見を投稿しており，「補填されるのアンケートでは提示順序はランダムにし，手法も特定で額では全然足りないから，簡単に育休って取れないんだよ

きないようにした．順位を見ると比較 1 と 3 は同じ内容のね」「出産するからっていって育休取れない会社なら，いず

ツイートで代表ツイートに最も近いと判断されているためれにせよ出産の前に辞めるという決断を多くの人がするの2 つに 1 位が与えられている．

では？」「育休は正直怖くて取れない」「養子だと育休が取表2れないとか，そんな慣習がこの国に在ったとは」「こういう職場にいるから普段は感じないけど、仕事で不利益を被る女性は多いんだろうなぁ 気軽に育休取れないとか考えられない」「中小企業や自営業だと育休は取れないよなー」な

方法

ツイート

代表ツイート

そういや、育休だった方が戻ってくるな。2年ぶりかな？

比較1（提案手法）

目安ついたのか～！育休の方が戻ってくるのかな？

比較2（BOW）

最近ハマってるチョコの名前を検索したらブログ発見＊

順位
1位

この製品計画に携わっていた女性社員の方は1年半の育

ど多岐にわたる意見が投稿されている．
各クラスタはある程度共通のトピックを持ったツイー

アンケートの例

休の後またこの製品の担当に戻ってきたみたい！
比較3（極大2部クリーク） 目安ついたのか～！育休の方が戻ってくるのかな？
比較4（LDA）

3位
1位『「パタニティ（父性）・ハラスメント」』／「育休を取得
したくてもできなかった」45.5％男性の育児参加を阻むトでまとめられており，トピックがインデックスの役割を「パタハラ」と上司の無理解｜ザ・世論～日本人の気持ち～｜ダイヤモンド・オンラインすることで，興味のある話題を選択することが可能である．

4位

そして，詳細な内容はそのクラスタの各ツイートを確認することで，有益な情報が得られる。上述のクラスタの内

表 3 は全代表ツイートに関する結果をまとめたものであ容からも，制度はあっても実際には育休を取得することのる．各手法は合計で 100 回評価されており，スコアは，各リスクを恐れていることが確認できる．国としては育休制

順位とその頻度の合計を 100 で割った値で，全て 1 位の場

度を浸透させるだけではなく，育休を取得したことによる合には 1 になる．最も 1 に近い値は提案手法で，続いて研ⓒ 2017 Japan Social Data Science Society- 20 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
磨なしの極大 2 部クリーク，BOW，LDA の順であった．こ

応用研究で示した分析内容は，大規模 CSV データの分析の結果から提案手法は他の手法よりも意味の類似したツイプラットフォームである NYSOL を利用している．NYSOL

ートでクラスタが構成されていることを示している．提案はデータのハンドリングに優れており，1 億件以上のデー手法と研磨なしの方法はどちらもスコアが 1 に近く僅差でタが PC で処理可能である．またデータマイニングに必要あり，なコマンド群も充実しており，京都大学の黒橋研究室で開研磨なしも比較的意味の類似したツイートでクラスタが構発された自然言語処理で利用される形態素解析プログラム

成されている．ただし既に述べたように，素性の数は大き(JUMAN) や格解析プログラム (KNP)

く異なっており，提案手法は 1,611 種類の極大 2 部クリーラットフォームで利用できる。また宇野 CREST プロジェなどが NYSOL プ

クで，研磨なしは 264,733 種類である．類似したクリーク

クト3で開発された 2 部グラフのグラフ研磨アルゴリズム

をクラスタリングするためには，素性が多ければ良いわけも利用可能である．

ではなく，2 部グラフの研磨によって，ノイズが除去され今後はビッグデータへの解析ニーズは更に高まること重要な格フレームが浮き上がったことによって，有用な結が考えられるが，データを分析することは手段であり，分果が得られたと考えられる．

析から得られた結果をどのように意思決定に役立てるかと一方で，BOW は格フレームではなく単語（形態素）の出いう点が最も重要である．意思決定に役立つ情報を抽出す

現のみを扱っており，3,676 種類の形態素を利用している．

るためには，試行錯誤をしながらデータ分析を繰り返し行

BOW の場合には形態素のある 1 語が共通することによっうことが必要不可欠であり，直感的に柔軟な方法で大規模て，クラスタを構成する場合もあり，素性が細かすぎるこ

なデータを扱える方法が求められている．

とで文章の類似性が格フレームに比べて劣っている．LDA
は，トピック数を多くしすぎるとトピックの解釈が困難な

謝辞ため，合計で 500 のトピックを生成するようにパラメータ

CREST プロジェクト，湊 ERATO プロジェクトの研究成果を調整したが，素性としては粒度が大きく，意味の類似しであり，また JSPS 科研費 JP15K17146 の助成を受けたものていないツイートがクラスタリングされてしまった．

です．

これらの結果から，素性の粒度と質が類似するツイート
をクラスタリングするためには重要であり，2 部グラフの研磨によって適切な粒度でかつ重要な格フレームが抽出できていると考えられる．
表3

手法による結果比較

手法

1位

2位

3位

4位

スコア

提案手法

86

7

5

2

1.23

研磨なし

79

10

7

4

1.36

BOW

77

10

8

5

1.41

LDA

52

4

7

37

2.29

4. おわりに
本稿では，ビッグデータからの情報抽出技術として 2 部
グラフを対象としたデータ研磨手法を示した．応用研究では，格フレームを利用した 2 部グラフに，データ研磨を適用することで構造を明確化し，極大 2 部クリークの列挙数が大幅に減少することを示した．また，極大 2 部クリークをトピックとして利用することで，類似するツイートのク
ラスタリングと有用な情報を抽出できることを示した．育休に関するツイートの要約からは，育休 3 年と仕事復帰に関しては，否定的な意見が多く，育休 3 年という政策は論点がずれていることなど，国民の率直な意見を捉えること
ができた．

参考文献
[1] Andrew, M. and Erik, B., “Big Data: The Management Revolution,”
Harvard Business Review Vol. 90, No. 10 pp.60-68 (2012).
(bigData)[2] 鹿島久嗣, 小山聡, 馬場雪乃,「ヒューマンコンピュテーションとクラウドソーシング」，講談社 (2016). (Crowdsourcing)[3] 宇野毅明, 中原孝信, 前川浩基, 羽室行信「データ研磨によるクリーク列挙クラスタリング」情報処理学会アルゴリズム研
究会報告書, 2014-AL-146(2), pp. 1-8 (2014). (Uno2014)[4] 黒橋禎夫，河原大輔，http://nlp.ist.i.kyoto-u.ac.jp/?KNP (KU00)[5] 前川浩基，内田将史，大内章子，宇野毅明，羽室行信，“データ研磨手法を用いた Twitter ユーザの関係構造変化の検出”，
人 工 知 能 学 会 全 国 大 会 論 文 集 ， Vol. 28, 3M-42 (2014).
(maegawa2014)[6] 中原孝信, 大内章子, 宇野毅明, 羽室行信,“データ研磨の 2 部
グラフへの適用と Twitter からの意見抽出”，2016 年度人工知能学会（第 30 回），4I1-3 (2016). (ai2016)[7] Newman, M.E.J., “Fast Algorithm for Detecting Community
Structure in Networks,” Physical Review E, Vol. 69, 066133 (2004).
(Newman)[8] Wu, X., Zhu, X., Wu, G-Q., and Ding, W., “Data Mining with Big
Data,” IEEE Trans. on Knowl. and Data Eng. Vol. 26, No. 1, pp. 97107 (2014).
[9] Facebook,https://code.facebook.com/posts/229861827208629/scaling-thefacebook-data-warehouse-to-300-pb/)[10]厚生労働省，「第 1 回 21 世紀出生児縦断調査（平成 22 年出生児）の結果」，(2011)
http://www.mhlw.go.jp/toukei/saikin/hw/shusshoujib/01/[11]厚生労働省, 「平成 26 年度雇用均等基本調査」，(2015) .
[12]日本経済新聞,

3 https://www.jst.go.jp/kisoken/crest/project/45/14531617.htmlⓒ 2017 Japan Social Data Science Society

本研究の一部は，これまで取り組んできた宇野- 21 -

日本ソーシャルデータサイエンス論文誌
第 1 巻 第 1 号（2017 年 3 月）
http://www.nikkei.com/article/DGXZZO76056900T20C14A80000
94/[13] Twitter,
https://blog.twitter.com/2013/new-tweets-per-second-record-and-ⓒ 2017 Japan Social Data Science Society

how[14] Walmart, http://www.economist.com/node/15557443[15] http://www.kantei.go.jp/jp/headline/seicho_senryaku2013.html- 22 -