特集

社会調査に携わる人のためのビッグデータ入門「ビッグデータ」は「AI」と並んで近年の情報技術の発展を象徴する言葉である。
ビッグデータに関する解説書をひもとけば，ビッグデータ分析の威力を鮮やかに印象づける事例が綺羅星のごとく並んでいる。しかし社会調査に携わる人（研究・実務で社会調査を実施し，そのデータを利用する人）にとって，ビッグデータは必
ずしも身近な存在ではないかもしれない。ビッグデータに積極的に手を出さず，
いままで通りの調査・分析を行うぶんにはビッグデータと関わり合うことはまずないからだ。それでは，社会調査とビッグデータの関係はどうなっているのだろう。
社会調査を利用する研究領域において，ビッグデータはどのように役に立つのだ
ろうか。
そこで本特集では，「社会調査のことはある程度わかっているけど，ビッグデー
タのことはよくわからない」という読者を念頭に，ビッグデータとは何か，社会調査を利用する研究・実務領域においてビッグデータがどのように使えるのか・役に立つのかを，5名の専門家に解説していただいた。これまでの『社会と調査』の特集とはやや毛色の異なるテーマであるが，読者のお役にたてば幸いである。
（神林博史）

社会と調査

NO.22（2019 年 3 月）

4特集

特 集 論 文社会調査に携わる人のためのビッグデータ入門

ビッグデータと社会調査
特集「社会調査に携わる人のためのビッグデータ入門」について
神林博史
東北学院大学教養学部 教授になると統計量の精度の重要性が低下するので

はじめに

1

「量さえあれば精度は重要ではない」。第三に，相関があるという事実の実用上の重要性が増す

ビッグデータは，ここ数年の間に自然科学・

ので「因果関係ではなく相関関係が重要になる」。

社会科学を問わず科学研究において幅広く注目

これらの主張を額面通りに受け取るならば，従を集めるようになった。一般向け解説書も数多

来型の社会調査データ（というより社会調査そく出版され，
マスメディアでも「ビッグデータ」のもの）はビッグデータにとって代わられるかを冠したテレビ番組や情報コーナーが登場するのように思えてしまう。読者の中にも，そのよ

1）

など ，
ビッグデータは学術の世界の枠を超えた

うな漠然とした不安を抱いた方がおられるかも

流行語となった（最近は「AI」にとって代わら

しれない。
もちろん，
これら3つの主張に反論することはれてしまったが）。
ビッグデータの解説書をひもとけば，情報科

難しくない（たとえば仁平・藤田 2017，および学，
マーケティング，
医療などの領域におけるビッ

本特集の瀧川論文参照）。そして冷静に考える

グデータ分析の成功例の数々が紹介されており，ならば，従来型の社会調査データとビッグデー

読者はそのインパクトに圧倒される。しかし，
そタとの関係は必ずしも競合的ではなく，むしろうした印象的な（しかし断片的な）事例を脇に2017）
相補的である（佐藤，。それゆえ，社会調置いて考えたとき，社会調査データを利用する

査データがビッグデータに駆逐される暗黒の（?）

研究領域にとってビッグデータがどのような可未来を心配する必要はなさそうだ。

能性を有しているのかは，
ビッグデータに詳し

2

くない者にはなかなか見えにくい。

本特集のねらい既存のビッグデータ解説の中には，従来のデータ収集法やデータ分析法に対して挑発的

ビッグデータと社会調査データが競合しないな見解を表明したものがある。たとえば Mayer-のだとしたら，社会調査あるいは社会調査デー

Schönberger and Cukier（2013）によれば，
ビッグタの分析に携わる者はビッグデータとどのようデータはデータ分析の世界に3つの重要な変化につきあっていけばよいのだろうか。最も気楽をもたらすとされる。第一に，「すべてのデー

なのは，従来型の社会調査とデータ分析の枠組タを扱う」（「N ＝全部」が実現する）ので抽出標の中にとどまり，ビッグデータはその道の専門

本の必要性が低下する。第二に，データが巨大家に任せておくことだろう。しかし，社会調査

社会と調査

NO.22（2019 年 3 月）

5に携わる研究者・実務家がビッグデータと無縁るが，特集論文の執筆者陣はビッグデータ研究のまま調査・研究を続けることが好ましいともの最前線で活躍する優秀な方ばかりである。企思えない。詳しくは本特集の諸論文（特に瀧川画担当者の無理なお願いに応えて，素晴らしい論文）をお読みいただきたいが，
ビッグデータは論文を寄稿していただいた。以下，各論文を簡

従来の社会調査では測定が困難だった（それゆ単に紹介しよう。

え分析も困難だった）人間行動や社会現象の分

論文2「ビッグデータとは何か」（笹原和俊）は，

析を可能にしてくれる。
言い換えると，
ビッグデー

ビッグデータの概説である。
ビッグデータの定義，

タは学術的・実務的な問題関心の検証可能性を研究史，
ビッグデータの用途などがコンパクトに拡張してくれるのである。ならば，それを利用まとめられており，
ビッグデータに詳しくない

しない手はないはずだ。
社会調査に携わる人こそ，読者には特に有用だろう。既存の解説ではあまビッグデータのことをよく知っておく必要がある。

り言及されることのなかった社会調査との関連

以上のような問題意識から，本特集では「社についても一節が設けられており，
ビッグデー

会調査のことはある程度わかっているけど，ビッ

タが社会調査データを補完・補強する役割を果

グデータのことはよくわからない」という読者

たしうることが説明されている。

を念頭に，（1）ビッグデータとはそもそも何な

論文3「社会学におけるビッグデータ分析ののか，（2）ビッグデータは従来の社会調査デー

可能性」（瀧川裕貴）は，
ビッグデータ分析を援

タとどのような関係にあるのか，（3）これまで用した社会学的研究のレビューである。本論文

社会調査データを利用してきた研究領域にとっの前半では，（1）ビッグデータは社会学的研究てビッグデータはどのような有用性をもつのか，にどのような意義を持つか，（2）社会学者はビッ（4）ビッグデータを実際に収集・分析するにはグデータの持つ特性のどこに注目すべきか，のどうすればいいのか，といった素朴な疑問につ二点が議論される。後半では，
ビッグデータをいて大まかな答えを示すことを目指した ）。

用いた社会学的研究の具体例が紹介される。詳2

しくは論文をお読みいただきたいが，
ビッグデー

3

特集論文の紹介

タ分析が社会学理論の検証可能性を大きく広げてくれることを実感できるだろう。なお，本論

本特集の企画担当者（筆者）は量的社会調査

文に興味を持った読者は，同じ著者による計算

およびそのデータ分析を専門とする社会学者だ

社会科学（これもビッグデータ分析の一種）のが，これまでビッグデータの収集・分析を行っ2018）を併せて読むことをレビュー論文（瀧川，た経験はない。ビッグデータにはそれなりに興お勧めしたい。

味があるので，解説書や論文を散発的に読んで論文4「データジャーナリズムの歩みと可能きたという程度の門外漢である。本特集が想定性」（奥山晶二郎）では，
メディアにおけるビッ

する「社会調査のことはある程度わかっている

グデータ分析の用途の1つとしてのデータジャー

けど，
ビッグデータのことはよくわからない読者」

ナリズムが解説される。データジャーナリズムというのは，実は企画担当者自身のことに他なとは，伝統的なジャーナリズムの情報源に加えて，らない。
『社会と調査』の読者には企画担当者とビッグデータを含む様々なデジタル情報を用い似たような立ち位置の方が多いだろうと勝手にるジャーナリズムのことである。テレビニュー

想像して（そうでない読者の皆様にはお詫びいスなどでも SNS 上の書き込み等を情報源とすたします），
本特集を構想した次第である。このる報道はすでによく見かけるようになったが，ように，企画担当者はビッグデータの素人であそれ以外にも様々な情報がデジタルジャーナリ

社会と調査

NO.22（2019 年 3 月）

6

特集

社会調査に携わる人のためのビッグデータ入門

ズムでは利用される。マスメディアの現場におグデータ分析を追体験できるはずである。ビッ

いても，
ビッグデータが伝統的な情報源を駆逐・グデータに興味はあれども触れる機会のなかっ代替するのではなく，補完・補強する形で利用た読者は，ぜひ挑戦していただきたい。

されていることがわかるだろう。

以上の論文を読んでいただければ，社会調査

論文5「ビッグデータによって変わる未来の公

データを利用する研究領域においても，
ビッグ

的統計」
（水野貴之）では，
公的統計におけるビッ

データがその視野と可能性を大きく広げてくれ

グデータ利用の可能性が解説される。公的統計

ることを実感できるだろう。多くの読者がビッとビッグデータの関係は大まかに，（1）既存のグデータに関心を持ち，自身の研究・業務に生

公的統計の作成にビッグデータを利用する，（2）

かしていただければ幸いである。

ビッグデータを利用して新たな公的統計を作る，【謝辞】という2つの面がある。本論文ではこの両面について，国内外の最新の動向が紹介されている。

瀧川裕貴先生（東北大学）には，特集論文の

公的統計の領域においても，
ビッグデータがそ執筆のみならず，本特集の準備段階から助言と協力をいただきました。計算社会科学研究会の可能性を拡大してくれることが示される。
論文6「ビッグデータ分析の実践にむけて」（榊（https://css-japan.com/）主査の遠藤薫先生（学剛史）は，
ビッグデータ分析を実際にどう行うの習院大学）には，同研究会メンバーを中心に特集かを解説する。ビッグデータ分析のための環境

執筆陣を組みたいという企画担当者の提案をごの構築，
データの取得・収集，
データの加工・前

快諾いただき，そのお蔭で本特集を形にするこ

処理，
分析，
可視化，
という一連のプロセスが解説とができました。日野愛郎先生（早稲田大学）

されると共に，
サンプルデータを用いて読者が実には，特集論文執筆者の奥山晶二郎先生をご紹際に分析を行えるよう配慮されている。社会調

介いただくと共に執筆依頼を仲介していただき

査データの分析がある程度できる読者であれば，ました。以上の皆様に深く感謝いたします。

（環境構築さえクリアすれば）大きな問題なくビッ
注1) たとえば，NHK スペシャル『震災ビッグデータ』
2013年9月8日，2014年3月2日（2013年3月3日，。この番組の詳細については阿の3回シリーズ）
部（2014）を参照。

タ収集の方法論を用いて社会調査を行う」「ビッ
グデータの収集・分析における倫理的問題」などである。企画担当者の能力不足および紙幅の都合から，残念ながら本特集ではこれらの問題は扱わない。これらの課題については，改めて特集が組まれることを期待したい。

2) ビッグデータと社会調査の関係については，
ここに挙げた4点以外にも重要な課題がある。たとえば「社会調査でビッグデータを作る」「ビッグデー

文献

2014「
阿部博史，
，
『震災ビッグデータ』から見えてきた東日本大震災の姿」『放送メディア研究』11：271-289。

2017「，特集『テキストマイニ
仁平典宏・藤田真文，
ングをめぐる方法論とメタ方法論』によせて」：326-333。
『社会学評論』68（3）Mayer-Schönberger, V. and Cukier, K., 2013, Big
Data––A Revolution That Will Transform How We
Live, Work, and Think, Houghton Mifflin Harcourt.
2013『（斎藤栄一郎訳，，ビッグデータの正体：情報2017「，データを計量する 社会を推論佐藤俊樹，する ―『新たな』手法が見せる社会科学と社会」：404-423。
『社会学評論』68（3）2018「，社会学との関係から見た計算社会
瀧川裕貴，：132-148。
科学の現状と課題」『理論と方法』33（1）の産業革命が世界のすべてを変える』
講談社。
）

社会と調査

NO.22（2019 年 3 月）

7

特 集 論 文

ビッグデータとは何か

笹原和俊
名古屋大学大学院情報学研究科講師 ，科学技術振興機構さきがけ研究者（兼任）

1

されている（McKinsey Global Institute, 2011）。

はじめに

日本では，総務省が取りまとめている「情報通信白書」平成24年版にビッグデータという言葉

ノーベル賞物理学者フィリップ・ウォレン・が掲載され，そこでは「事業に役立つ知見を導アンダーソンの言葉に，More is different とい出するためのデータ」と紹介されている（総務うものがある。
「量が増えると質的な変化が起

省 ,2012）。

きる」という意味である。これは，大規模デー黎明期にはバズワードと揶揄されたビッグデー

タが価値に転化するというビッグデータの考え

タだが，登場から10年目の節目が見えつつある方にも通じる言葉である。

現在はすっかり社会的に定着し，イノベーショ

ビッグデータとは，人間と様々な情報機器とンを起こすために必要不可欠な資源となっていの相互作用から日々生み出される膨大な情報の

る。
本稿では，
ビッグデータとは何かについて様々集合体である。モバイル，
ソーシャル，
クラウドな角度から再考する。

という要素をもつ情報技術の発展によってデー2タが集積されるようになり，それを分析することからもたらされる知見や価値は，私たちの生

ビッグデータとはどのようなデータか

活やビジネス，
社会のあり方をも変え始めている。

ビッグデータには明確な定義はないが，
ビッ

IoT（モノのインターネット）や AI（人近年では，グデータと呼ばれるデータ群は三つの V を頭文工知能）が普及し，その傾向にますます拍車が字にもつ英語の特徴で説明されることが多い。

かかっている。

米国の調査会社ガートナーが報告書の中でそのビッグデータという言葉が使われ始めたのはように説明したのが最初で，ビッグデータの「3V

2010年頃である。2010年の The Economist の記モデル」とも呼ばれる（Beyer and Laney, 2012）。

事ではビッグデータという言葉は使われていな

一つ目の V は「Volume（大容量）」である。ついものの，現在のビッグデータに通ずる考え方

まり，これまでのツールでは取り扱えないほど

が「データ洪水（the data deluge）」という言葉でデータの容量が大きいということである。現時2011年に紹介されている（Cukier, 2010）。また，

点ではテラバイト以上の容量のデータを指すこ

マッキンゼー・グローバル・インスティテューとが多いが（テラは10の12乗），
データを蓄積・トが発行した報告書では，ビックデータは「典型処理する技術の発展とともに，ビッグデータと的なデータベースソフトウェアの格納，管理，分呼ぶにふさわしいデータの容量は今後さらに増析能力を超えるサイズのデータセット」と紹介大すると考えられる。その理由として，
スマー

社会と調査

NO.22（2019 年 3 月）

8

特集

社会調査に携わる人のためのビッグデータ入門

トフォンやクラウドサービスの普及，センサを搭る。IBM はビッグデータの四つ目の特徴として，載した IoT 機器の急増によって，生成されるデー「Veracity（正確性）」を取り入れ，
データの矛盾タが爆発的に増加していることが挙げられる。

や曖昧さによる不確実性を排除して，信頼でき二つ目のVは「Variety
（多様性）
」
である。
つまり，

るデータにもとづく意思決定が重要だと主張しデータの種類やそれを扱うための形式が多様化ている。さらに，
ビッグデータの五つ目の特徴したということである。例えば，商品の取引デー

として「Value（価値）」が入ることもある。
これは，

SNS のテキストや画像や動画，
タや顧客データ，

実社会における人間行動や IoT などを利用したスマートフォンなどに組み込まれた GPS（Global

社会活動が生み出すデータを活用して価値を生Positioning System：全地球測位システム）の位

み出すことの重要性を強調している。

IoT 機器のセンサ情報など，生成される
置情報，

3V（あるいは5V）の特徴をもつビッグデータ

データの種類が増大した。GPS などのように，を価値に転換できるようになった理由に，
デー

あらかじめ決められたフォーマットで保存する

タの大容量性，
多様性，
速度の問題を解決する情SNS のことができるデータを「構造化データ」，

報技術が登場したことがあげられる。例えば，データのように決まったフォーマットのないデー

ビッグデータ処理のためのソフトウェアフレー

タを「非構造化データ」という。従来型のデー

ムワークに NoSQL や Hadoop がある。あらかタベースはリレーショナルデータベースと呼ば

じめ決められたデータ構造しか扱えないリレーれるもので，あらかじめフォーマットの決まっ

NoSQLはデー
ショナルデータベースとは異なり，たテーブルにデータを格納し，それらの集合を

タの一貫性を緩くし，データ構造を単純化する

関連づけてデータを管理する方式のため，非構

ことで，データ管理の柔軟性や拡張性を可能に

造化データを取り扱うことが難しかった。
しかし，

2004年に Google が発表したした。Hadoop は，

大規模な非構造化データを蓄積・処理する技術

MapReduce という分散データ処理の方法（Deanが発達し（後述），現在は多様なデータを分析す

and Ghemawat, 2008）を実装したオープンソー

ることが可能になった。

スのソフトウェアフレームワークで，大量の非構

三つ目の V は「Velocity（速度）」である。つ造化ファイルを高速に処理すること可能にした。

まり，
データの発生頻度や更新頻度が増大した

ここまでは，主に狭い意味でのビッグデータということである。オンラインショッピングにの特徴の説明である。広い意味のビッグデータ

おけるユーザのクリックのデータ，
コンビニエンには，機械学習や統計解析などのデータ分析やスストアで24時間発生する POS（Point of Sales）

それを行う人材や組織なども含まれる（図1）。

データ，
全国の道路に設置された渋滞検知センサ，

3

交通系 IC カードの乗車履歴，
ツイッターの投稿やフェイスブックの「いいね！」など，
現在，デー

ビッグデータ小史

タは24時間365日ほぼ途切れることなく生成さコンピュータやインターネットなどの情報技れている。このように時々刻々と発生するデー術の進歩とともに，
データの生産量はかつてな

タを処理することは一昔前までは不可能だった

いほど飛躍的に増大している。特に，
ビッグデー

が，
分散処理やストリーミング処理の技術の発達

タの歴史を振り返る上でインターネットの登場によって，リアルタイムにデータを処理すること以後のモバイル，
ソーシャル，
クラウドの発展はが可能になった。

重要な位置を占める。

近年ではビッグデータの3V モデルに，さらティム・バーナーズ = リーによって最初のウェに二つの V を特徴として付け加えることがあ

ブサイトが作られたのは1991年で，この頃はま

社会と調査

NO.22（2019 年 3 月）

9

図 1 広義と狭義のビッグデータ（総務省「情報流通・蓄積量の計測手法の検討に係る調査研究」（平成 25 年）を参考に改変）

刻々とデータが発生するようになった。

だ一部の限られたユーザだけが情報発信できる時代だった。2000年代になるとパソコン，次い

ソーシャルメディアの普及もデータの増大でスマートフォンが普及し，ブログや SNS，
動画と多様化に大きく関係している。代表的な共有サイトやチャットアプリなどが一般に広くSNS であるツイッターでは1日に5億以上の投使われるようになり，
いわゆる「ウェブ2.0」ムー

稿（Twitter, 2014），
フェイスブックでは1日に47

ブメントが起こった。ウェブ2.0とはティム・オ

億件以上の投稿が共有されている（Facebook,

ライリーが提唱した概念で，旧来のウェブにお2013）。SNS の特徴はリアルタイム性が高く，社

ける情報の流れが送り手から受け手へという一会的つながり（フォロー関係）の中を情報が伝方的なものだったのに対し，誰もが自由に情報搬し，それが連鎖することである。SNS から生を発信・受信できるようになった新しいウェブ

み出されるデータはテキストだけでなく，画像の利用状態のことを指す。ウェブのソーシャルや動画を含む非構造化データである。先述のよ化である。

うな新しい情報技術の登場で，大規模で多様性

モバイルの代名詞ともいえるスマートフォンに富む SNS のソーシャルデータを分析して，
マー

2010年には約10％だった保有率が2016年には，ケティングや新商品・新サービスの開発に活用は70％以上に達し，ほとんどの人がスマートフォすることが可能になった。

ンをもつ時代になった（総務省 , 2017）。スマー

さらに近年は IoT の発達によって，人間だけでトフォンには GPS センサ，
磁気センサ，
加速度セ

なくあらゆるモノが情報を発信するようになり，ンサ，
ジャイロセンサなど様々なセンサが搭載さデータがクラウドに集約されるようになった。米れている。これはつまり，大半の人がセンサ付

国の EMC コーポレーションと調査会社 IDC がきの小型コンピュータを常時持ち歩いていると

2014年に実施した調査によると，
全世界的に生みいうことに等しい。自宅や職場にあるパソコン

2013年には4.4ゼタバイト
出されるデータの量は，だけならばインターネットの利用は限られるが，だったが2020年には44ゼタバイトに達すると予スマートフォンの登場で屋外や移動中の利用が想されている（ゼタは10の21乗）（EMC, 2014）。

GPS をはじめとする様々なセンサから時々増え，ここまで述べたように，
インターネット誕生

社会と調査

NO.22（2019 年 3 月）

10

特集

社会調査に携わる人のためのビッグデータ入門

後に登場したモバイル，
ソーシャル，
クラウドと義されている。現在の社会（Society 4.0）ではいう情報技術は人間を巻き込む形で発展し，私知識や情報が共有されず，分野横断的な連携がたちの生活や仕事のスタイルを大きく変化させ不十分であるという反省に基づき，ビッグデーた。私たちのオンライン上での行動履歴，
意見やタと情報技術でこの問題を克服しようという

IoT 機器が常時発信するセン
感情，写真や動画，

発想から生まれた考え方である。Society 5.0は，

サ情報など世界で生み出されるデータは爆発的IoT で全ての人とモノがつながり，
様々な知識やに増加し，それらがクラウドに蓄積されるよう情報が十分に共有されることで，今までにないになった。その結果として誕生する，人やモノ

新たな価値を生み出し，それによって少子高齢が発するこの世界に関する情報の断片の集積が化，地方の過疎化，
貧富の格差など，
現在社会がビッグデータである。今後も様々な情報機器が抱えている様々な問題を克服することを目標に

インターネットを通じてつながり，私たちの行掲げている。楽観論だという批判的な声もある

動や社会に関するデータは累積していく。そのが，データを循環させることに重きを置いた「ウェ

ような現実世界の大規模な電子的痕跡を AI で

ルビーイング・エコシステム」を志向している点

リアルタイムに処理・分析し，その結果を人や社は新しい。

会にフィードバックしたり，みんなで共有した4りすることでビッグデータの価値は高まっていく。
内閣府はこのようなデータ主導型社会の未来

ビッグデータはどのように使われているかとして「Society 5.0」というコンセプトを提唱しビッグデータには，個人レベルから地球規模ている。Society 5.0とは，「サイバー空間（仮想まで様々なスケールのデータがある。基本的に空間）とフィジカル空間（現実空間）を高度に融は図2に示したプロセスで，ビッグデータを知見合させたシステムにより，経済発展と社会的課や予測や価値に変換する。以下では，
ビッグデー

題の解決を両立する，人間中心の社会」だと定タのスケールの違いに着目し，活用例を紹介する。

図 2 ビッグデータから価値を生み出すプロセス

社会と調査

NO.22（2019 年 3 月）

11

個人スケールのビッグデータといえば，身体の流行の予測に有効であることを示し，大きなに装着可能なウェアラブル・センサや日常生活話題となった（Ginsberg et al, 2009）。同グルーに欠かせないスマートフォンから時々刻々と生プは，米国人がインターネット検索する際に入み出されるデータが代表的である。
それらのデー

力した検索語のうち上位5,000万語を抽出し，
疾

タは私たちの感情や居場所，習慣や購買などの病予防管理センターの2003年から2008年までの日常生活の電子的記録である。例えば，
フィッ

5年間のインフルエンザの流行に関するデータとトビットやアップルウォッチは，移動歩数や消の相関を調査した。その結果，特定の45個の検費カロリーなどの身体活動を簡便かつ継続的に索語がインフルエンザの流行と高い相関を示す

モニターすることで，健康目標の達成や運動習ことがわかった。この知見を利用して，同研究

慣の改善をサポートする。スマートフォンにもチームはグーグル・フルー・トレンズ（Google

GPS センサや加速度センサをはじめ様々なセン

Flu Trends）というシステムを作り，疾病予防管サが搭載されており，それを利用したアプリケー

理センターでは1週間かかるものを，
このシステ

ションはこれまでには不可能だったような「ラムだと1日の遅れでインフルエンザの流行を予測

イフ・ログ」を簡便かつ継続的に取ることを可できることを示した（現在は公開終了）。

能にした。
そのような個人が生み出すビッグデー

ツイッターやフェイスブックなどのSNSのデー

タからは，利用者の気づきを促し，行動を改善さタは，
私たちがどのように考え，
行動し，
どのよ

せるようなサービスが生み出されている。

うにつながりあっているのかに関する地球規模

ウェアラブル・センサとそれが生み出すビッの貴重なデータを提供する。
コーネル大学のゴー

グデータは，
集団レベルでの生産性の向上にも役

ルドとメイシーは，世界84カ国の2,400万人が2立てられる。例えば，
マサチューセッツ工科大年間に発した計5億900万件のツイートに含まれ学メディアラボのアレックス・ペントランドのグルー

る感情語の時間変化を分析し，人間の気分の変プが開発した「ソシオメータ」と呼ばれる電子

動には周期性があることを明らかにした（Golder

バッチは，顔の表情や体の動き，
声などに表れるand Macy, 2011）。ツイッターの集団気分は株価

無意識的な行動，
すなわち，偽ることの困難な「正予測などへも応用されている。インディアナ大直シグナル」を記録する装置である（Pentland,

学のヨハン・ボレンらは感情に関するツイート

2008）。同グループは実社会の様々な場面で「正を分析し，集団気分の平穏さの度合いが3日後の直シグナル」を計測して，それが将来の行動の予ダウ・ジョーンズ工業株価平均の動きを87.6%測に有効であることを明らかにした。そして，の精度で予測できたと報告している（Bollen,

ソシオメータのビッグデータが優れた集団的意

2011）
。

思決定や賢い組織・社会作りにどのように役立

ケンブリッジ大学のマイケル・コジンスキー（現

てられるかに関する洞察を与えた。日立が開発

スタンフォード大学）らは，
約58,000人のボランした「ビジネス顕微鏡」は，個々人の身体運動のティアに個人属性に関するアンケートを答えてパターンから集団の幸福感と相関する組織活性

もらい，許可を得た上でフェイスブック上の記

度を計測する装置で，そこから生み出されるデー

事のどれに「いいね !」したのかに関するデータ

タを組織の生産性向上に活用することを目的とを収集し，個人の趣味や属性をどの程度推定でしている（矢野 , 2014）。

きるかを調査した。その結果，「いいね !」のデー

インターネットの検索記録も有用性の高いビッタだけから，そのユーザが男か女かのような基グデータである。例えば，グーグルの研究グルー

本的な属性だけでなく，同性愛者かどうか，
薬物

プは検索行動のビッグデータがインフルエンザを使用するかどうかなどの個人情報も予測でき

社会と調査

NO.22（2019 年 3 月）

12

特集

社会調査に携わる人のためのビッグデータ入門

ることがわかった（Kosinski et al, 2013）。このるデータからは人々の心理状況や購買意識など

ようなビッグデータから個人属性を推定する技が明らかになる。これらは人々の自発的な行動

術はターゲティング広告などに応用されている。

10が保守の記録であり，
質問票で「0がリベラル，

一方で，この技術はフェイクニュースや政治的的として，あなたの政治的な立場を答えて下さい」

プロパガンダにも悪用されていることは注意しなどのように回答を制約してしまうやり方とはておきたい。

異なる。高密度な時系列ビッグデータを用いる

個人から地球スケールまで，今やビッグデーと，
人間集団の社会的ダイナミクスを観察・定量

タは現実をモニターするだけでなく，予測し変化することも可能になる。また，
産業，
人口，
観光，

化させる力をもつ。ビッグデータは諸刃の剣で農業などの官民のビッグデータを集約し組み合もある。

わせることで，「地域経済分析システム（RESAS）」のように，産業構造や人口動態，
人の流れなどの

5

ビッグデータと社会調査

マクロな情報を可視化し，地域経済に関する鳥瞰図を得ることが可能になる。このような情報

ビッグデータの利活用に関する考え方はコン

はこれまでの社会調査では取得が困難だったもピュータの普及以前からあり，国勢調査や経済のである。

統計なども広義にはビッグデータの範疇に入る。

しかし，
ビッグデータがこれまでの標本抽出

国が国内の実情を把握するために全国民を対象や調査票による作業に置き換えられるというわに実施する国勢調査は，紀元前3000年のエジプ

けではない。むしろ，
ビッグデータは既存の社

トや中国でも行われていたことが知られており，会調査を補完したり，補強したりするものであローマ帝国時代に行われた国勢調査は今でも記る。2015年に開催された計算社会科学の国際会

録が残っている。1890年に米国で行われた国勢

議 IC S でコーネル大学のマイケル・メーシーは，

調査ではパンチカード式のシステムが初めて導社会科学におけるビッグデータの意義について，入され，これは3V の意味における最初のビッグ「これまでは不可能だったことが計測できるよ

データだと言える。

うになったことだ」と述べている。これまでは

2 2

計測不可能だったこととは，端的に言えば人間

社会調査を行う場合，
まず調査目的を決め，
国

行動や社会現象の要素である。

勢調査などの全数調査でなければ，その目的をビッグデータを活用した新しい経済指標を作検討するのに必要な限られた人数のサンプルを対象とし，観察や質問票などの方法で調査する

り出そうという動きもある。2017年，経済産業のが通常の流れである。コンピュータやインター

省は，
ツイッターの投稿などのビッグデータと AI

ネットが発達した現在，このような社会調査をを活用した新たな経済指標サイト「ビッグデー

オンラインで行い，サンプルの規模を拡大するこタスタッツ」を試験的に公開した（現在は閉鎖）。

とも可能になったが，既存の社会調査を大規模

これまでの経済統計では，データの収集から公化することとビッグデータによるアプローチと表までに時間がかかり，現在のおおよその経済は質的に異なる。

動向を迅速に把握することが困難だった。しかビッグデータのアプローチでは，
質問票などのし，
リアルタイム性の高い SNS のデータを AI で方法ではとれなかったようなデータが取れるようまく分析すれば，この問題が解決できる可能うになる。スマートフォンの大量の通話記録か性がある。

SNS へ投稿されらは人間関係が浮かび上がり，

社会と調査

NO.22（2019 年 3 月）

13

見積もっていたことを示す論文が発表される

6

結論と（Lazer et al., 2014），
ビッグデータにおいて安易に相関のみに頼ることの危険性を指摘する

本稿では，
ビッグデータという言葉が世に出報告が次々となされ，検索語のみに基づく方法てから10年の節目が見えてきた現在において，の限界が明らかになった。同年，グーグルはフ「ビッグデータとは何か」について改めて様々な

ルー・トレンズおよび関連サービスを終了して観点から見てきた。
ビッグデータが暮らしや産業，いる。検索データを疾病予測に用いるというア

社会科学そのものを根本的に変える可能性を秘

イデアは斬新であり貴重な試みだが，ビッグデー

めていることは疑いようのない事実だが，一方で，タに基づくデータ主導型推論の難しさを示すエ

ビッグデータの問題点やリスクも徐々に明らか

ピソードである。
ビッグデータの寡占も大きな問題である。
「21になってきている。最後に，ビッグデータの問
題点を整理し，今後の展望を述べる。

世紀の石油」と形容されることもある個人デー

ビッグデータの黎明期には，「N ＝全部」や「答GAFA と呼ばれる IT の巨大企業
タに関しては，

えがわかれば，
理由はいらない」などのキャッチー（グーグル，
アップル，
フェイスブック，
アマゾン）

な表現がビッグデータの特性としてよく使われが国境を超えて貪欲にデータを収集し，その規た。これはつまり，「正確で厳密だが量が少な

模は他社の追随を許さない状況になっている。

いデータより，乱雑でも膨大なデータの方が実4社は豊富な個人データを分析することで，自社

用的メリットが大きく，役立つ相関関係（因果関の商品やサービスを効果的に販売し，
ターゲティ

係ではなく）を見つけることが重要である」と

ング広告などで巨額の収益を得ている。
個人デー

いう極端な態度のことを言っている。技術雑誌

タは集まれば集まるほど価値が増し，他社とのWIRED の編集長を務めたクリス・アンダーソ

差は開く一方である。2018年7月に開催された

ンも「理論の終焉」と題した記事の中で，「膨大

G20財務相・中央銀行総裁会議では，GAFA らな量のデータと応用数学があらゆるツールに取っIT 企業への課税が議論されるなど，
ビッグデーて代わる世界が始まる。言語学も社会学も，人タの寡占の問題は今後の課題の一つである。

間行動に関する理論は全て駆逐される」と，挑ビッグデータ利活用の促進を考える上で，オー戦的な発言をしている（Anderson, 2008）。しかプンデータの整備やプライバシー保護も重要なし，これは明らかに言い過ぎである。

課題である。ビッグデータは組み合わせること大規模で多様性に満ちたデータを取得・処理

でさらに価値が高まり，新しいビジネスやサーできるようになったことは大きな進歩だが，
ビッ

ビスにつながるため，行政や企業が抱えるデー

グデータには「バイアス」などの問題があり，
目

タを誰もが自由に使えるようにする取り組み

先の相関だけを追っていると大きな間違いを起は重要である。現在，日本には「DATA GO JP

こす可能性がある。例えば，
ビッグデータの成（http://www.data.go.jp/）」
や「LinkData.org（http://

功例として取り上げられることの多いグーグル・

linkdata.org/）」などのオープンデータのポータ

フルー・トレンズ（先述）だが，これには後日談ルサイトがあるが，海外と比べるとオープンデーがある。フルー・トレンズが発表された後，
英語

タの整備は遅れている。一方，
ビッグデータに以外の言語でもサービスが開始されたり，
デン

はプライバシーの問題もある。データを匿名処

グ熱の流行にも同じやり方が応用されたりと展理したとしても，複数のデータを組み合わせる

2014年にフルー・
開は順調に見えた。しかし，と高い精度で個人を特定できてしまうため，
オー

トレンズがインフルエンザの流行を2倍近く多く

プンデータの整備を進めるためにも，より安全

社会と調査

NO.22（2019 年 3 月）

14

特集

なプライバシー保護技術の開発が必要である。

社会調査に携わる人のためのビッグデータ入門

要になってくる。それは，イノベーションの促

今後，これらの問題点やリスクを克服しつつ，進にとっても社会科学の発展にとっても大きな

ビッグデータを使いこなす新しい方法の開発や鍵となる。

ビッグデータの新しい用途の発見がますます重

文献

2014『
矢野和男，
，データの見えざる手 : ウエアラブ, 草思社。
ルセンサが明かす人間・組織・社会の法則』

Cukier, K., 2010, The data deluge: Businesses,
governments and society are only starting to tap
its vast potential , The Economist (https://www.
economist.com/leaders/2010/02/25/the-datadeluge/)

EMC, 2014 , The Digital Universe of
Opportunities: Rich Data and the Increasing
Value of the Internet of Things(https://www.
emc.com/collateral/analyst-reports/idc-digitaluniverse-2014.pdf)

McKinsey Global Institute, 2011, Big data: The
next frontier for innovation, competition,and productivity (https://www.mckinsey.
com/business-functions/digital-mckinsey/
our-insights/big-data-the-next-frontier-forinnovation/)

Ginsberg, J. et al, 2009, Detecting influenza
epidemics using search engine query data ,Nature, 457: 1012-1014.
Golder, S. A. and Macy, M. W., 2011, Diurnaland Seasonal Mood Vary with Work, Sleep, andDaylength Across Diverse Cultures , Science,
333: 1878-1881.

2012『(http://
総務省，，情報通信白書平成 24 年版』
www.soumu.go.jp/johotsusintokei/whitepaper/h24.html)

Beyer, M. A. and Laney, D., 2012, The Importanceof 'Big Data': A Deﬁnition , Gartner.

Bollen, J., Mao, H. and Zeng, X., 2011, Twittermood predicts the stock market , Journal ofComputational Science, 2: 1-8.

Dean, J. and Ghemawat, S., 2008, MapReduce:
Simplified data processing on large clusters ,Communications of the ACM, 51 (1): 107-113.

Kosinski, M., Stillwell, D. and Graepel, T., 2013,
Private traits and attributes are predictablefrom digital records of human behavior ,Proceedings of the National Academy of
Sciences, 110: 5802–5805.

2017『(http://
総務省，，情報通信白書平成 29 年版』
www.soumu.go.jp/johotsusintokei/whitepaper/h29.html)

Anderson, C., 2008, The End of Theory: The Data
Deluge Makes the Scientific Method Obsolete(https://www.wired.com/2008/06/pb-theory/)

Twitter, 2014, https://blog.twitter.com/official/
en_us/a/2014/the-2014-yearontwitter.html
Facebook, 2013, https://www.facebook.com/
FacebookSingapore/posts/563468333703369

Lazer, D., Kennedy, R., King, G. and Vespignani, A.,
2014, The Parable of Google Flu: Traps in Big
Data Analysis , Science, 343: 1203-1205.

Pentland, A., 2008, Honest Signals: How They
Shape Our World, MIT Press.

社会と調査

NO.22（2019 年 3 月）

15

特 集 論 文

社会学における
ビッグデータ分析の可能性
瀧川裕貴
東北大学災害科学国際研究所 助教

不平等や世代間移動について従来とは異なる規

1

はじめに

模と詳細さで研究を行うことができる。政府行
政記録自体は古くから社会科学者の主要なデー

近年，社会学を始め，
政治学，
経済学，
心理学そ

タソースの一つであったが，デジタル化や大規模の他の社会科学全般において，いわゆるビッグ化に伴い，従来型の分析戦略や研究戦略は大幅

データを用いた研究が急速に普及している。そな見直しを迫られつつある。

の背景としてまず挙げられるのがインターネッ

また，
デジタル化された文学作品や議事録，裁トの普及に伴う社会生活のデジタル化である。

判記録その他の歴史資料も重要なビッグデータ

電子メールはもちろんのこと，
ソーシャルネッの一類型である。日本の事例で言えば，著作権

トワーキングサイトを通じたコミュニケーショの消滅した本などを電子化して誰もがアクセス

ンや議論，様々な商取引，オンライン上の百科事

できるようにした青空文庫や第1回の国会から典や予測市場での集合知の活用等，われわれの衆参両院の本会議および委員会の議事を記録し社会生活の多くはいまやウェブ上で行われていている国会会議録が著名である。

る。このようなウェブ上での活動はリアルタイ

以上を背景として，
ビッグデータを活用した

ムでデジタルに記録され，「デジタルフットプリン

社会科学的研究には多くの注目が集まっている。

ト」ないし「デジタルトレース」と呼ばれる膨大

他方で，
ビッグデータの社会研究への応用をめなビッグデータを残すことになる (Golder and

ぐっては過度の期待と過度の疑いが寄せられがMacy 2014)。また，
ウェブ上の社会行動のみなちだということに注意する必要がある。過度のらず，
スマートフォンや IoT（モノのインターネッ

期待といえば，一時期もてはやされたビッグデー

ト）の普及によって，物理的な行動もますますタ万能論がある。例えば，評論家の C.Anderson

デジタルに記録されるようになりつつある。例

はかつて，
ビッグデータの活用により，
理論はも

えば，
スマートフォンの位置情報サービスを利はや不要になると述べた（Anderson，2008）。現用した際には移動履歴がデジタル記録として残在ではさすがにこのような楽観論を述べる研究される可能性がある。

者はいないが，ビッグデータのご利益を過度にさらにビッグデータを用いた研究を考えると述べ立てる評論や TV 番組はいまでも世の中にきには，政府行政記録のビッグデータも無視すあふれている。他方，このような世の中の風潮

べきではない。例えば，政府が保管しているデに反発してか，とくに伝統的な社会科学者の中ジタル化された納税記録を用いることで，所得にはビッグデータに「慎重な」態度をとる者も社会と調査

NO.22（2019 年 3 月）

16

特集

社会調査に携わる人のためのビッグデータ入門

多い（例えば Goldthorpe，2015）。彼らの懸念にet al. 2016)，何よりAmerican Sociological Review

は理解できる面もあるが，やはりビッグデータ

や American Journal of Sociology 等の一流誌にが社会科学の発展に貢献する潜在的な可能性をはビッグデータを有意義に活用した社会学的研無視して，慎重論に流れすぎるのも問題である。

究がしばしば掲載され，しかもその数も年々増

本稿では，
ビッグデータの限界にも十分な注えている（そのいくつかについては後に紹介する）。

意をはらいつつ，社会科学的な研究を進める上このような状況を鑑みると，いま必要なのは，

でビッグデータのもつ潜在的な可能性について

ビッグデータに対する過度の楽観論でも過度の強調したい。

反発でもなく，「ビッグデータのどの特徴を，いかにして社会学的研究に活用することができる

2

ビッグデータと社会学的研究のか」に関する注意深い検討であろう。本稿では，このような立場からまずはビッグデータの伝統的な社会学者のなかにはビッグデータに特徴を一般的にまとめたうえで，とくにビッグ

懐疑的なスタンスを取る人もいる。その理由のデータの活用という点で意義深い社会学的研究

一部は，特に日本でのこれまでのビッグデータのいくつかを紹介し，社会学におけるビッグデーの紹介のされ方が，「社会学研究でいかに活用

タ分析の可能性を検討することにする。

できるか」，という観点を欠いたものだったから

3だといえよう。例えば，比較的早い段階で翻訳されたマイヤー＝ショーンベルガーとクキエのビッグデータの特徴と課題『ビッグデータの正体』(Mayer-Schönberger and「はじめに」
で述べたように，ビッグデータといっ

Cukier 2013=2013) では，
ビッグデータがもたらてもそのソースに応じて，様々に異なるビッグ

す3つの変化として次が挙げられている。

データが存在する。大まかには，次の三つに区

1．ビッグデータは限りなくすべてのデータを扱う。

別できる。

2．量さえあれば精度は重要ではない。

1. ソーシャルメディアや IoT のセンサなどの記録したデジタルトレースデータ

3. 因果関係ではなく相関関係が重要になる。
著者らはおそらく確信犯的に挑発的な主張を

2. 政府や公的機関の記録をデジタル化した政府している。だが，まともな社会学者ならばこれ行政記録

らの主張に反論することは容易だ。例えば，「量

3. 文学，学術論文，議会等の議事録，裁判記録なさえあれば精度は重要ではない」というのは，

どの大規模テクストデータ

ランダムではない系統的バイアスが存在するデー

もちろん，
この分類は便宜的なもので，相互にタでは全く当てはまらないし，社会現象の因果排他的ではないし，網羅的でもない。例えば，
分メカニズムを解明するという社会学の立場から

析技術が進めば，大規模な音声・映像データもいえば，因果関係の解明を放棄する態度は受け重要なデータソースになりうる。

入れられないだろう。

社会学的研究にとってのビッグデータというしかし，いうまでもなく，ビッグデータに関す観点から考えると，
ビッグデータのいかなる特るこのような見解は一部の論者のものに過ぎ

徴に特に注目するべきだろうか。本稿では，社ない。社会学におけるビッグデータの意義につ

会学的研究の目標が，社会関係や相互行為の因

いてより注意深くかつ建設的に議論した論考

果メカニズムの解明にあるとの前提にたつ。ビッもさまざまに存在するし (Bail 2014; Evans andグデータがメカニズムについての理論を不要と

Aceves 2016; Golder and Macy 2014; McFarland

するという一部の論者の議論とは逆に，因果メ

社会と調査

NO.22（2019 年 3 月）

17

カニズムの解明にこそビッグデータを利用すべことができる。もちろん，ある人の行為が他のきだと主張する。このような立場から，いかに人の後続する行為を因果的に引き起こしたと厳してビッグデータの社会学的活用可能性を特徴

密に述べるためには，いくつかの問題をクリアづけることができるだろうか。

する必要があり，それほど容易ではない。だが，

ここでは，
以下の4つの特徴がとりわけ注目さサーベイデータに比べれば，
因果メカニズムを直れるべきであると論じたい（以下の議論は瀧川，接的な方法で検討できる素材ははるかに揃って2018も参照。ビッグデータの特徴についてのよいる。

り包括的議論については Salganik ，2017を参照）。
2. 時系列データ
1. 社会的・関係的データ

社会学にとって有用な第２の特徴として，
ビッ

ビッグデータの重要な特徴の1つは，人々のグデータは多くの場合，時系列的に記録されて関係性や相互行為を記録している点にある。

いるという点が挙げられる。このことは因果メ

M.Weber（1921, 訳 , 1987）の社会学の定義を引

カニズムの解明にとって非常に役立つ。因果メ

くまでもなく，
社会学の基本的関心は，ある人のカニズムとは，原因から結果に至るダイナミック

行為がいかなる因果メカニズムを通じて，他の人なプロセスのことだからである。例えば，社会の行為を引き起こすかという点にある（ある制学的研究において，ある制度が導入されたり，
あ度が行為を引き起こすこと，またはある行為がる出来事が生じたことで，人々の振る舞いがどある制度を生み出すことなども社会学の関心対のように変化したのかを検討するとき，ここで象に含まれる）。例えば，ある人の「傘をさす」

問われているのは，制度や出来事が人々の振る行為が別の人の「傘をさす」行為を引き起こす

舞いを因果的に形作るというダイナミックなプ

とき，これを社会的行為と呼び，社会学の研究対ロセスである。
関連する特徴をさらに挙げるならば，
ビッ

象となる。

グデ ー タ は「 常 時 オン always-on」（Salganik，

このような社会的行為のメカニズムの解明こ
そが社会学の主たる目的であったにもかかわら2017）に記録されることが多い。常時オンであず，
サーベイデータのような従来の量的データ

るとは，人々の振る舞いがそのつど，意図して記では，直接に社会的行為を扱うことは難しかっ

録する必要もなく，常時データとして収集された。質問紙には，人々の相互行為は記録されなているということだ。近年では，
サーベイ調査いし，交流や付き合いの様子や頻度を聞くにしでもパネル調査として複数時点にわたるデータても，それらは回顧的に尋ねるほかなく，
かつそ収集が行われることがある。
だが，常時オンのデーの回答は主観的なものとなる。そのため，社会

タの場合には，そうしたパネルデータでも難しい，学の理論の検証は，理論的に想定された因果メ

予期せぬ出来事のメカニズムを解明することがカニズムのありそうな含意を，いくつもの推論可能となる。この常時オンという特徴を用いて，を重ねた上で，
サーベイデータで測定可能なデー

例えば，ある種の制度変更や自然災害のようなタに翻訳して検証する，という間接的な方法を出来事が発生したことによって，人々の振る舞

とらざるを得なかった。

いがどのように変化するのかを調べることがでこれに対して，
ビッグデータには社会的行為

きる。

が直接に記録されている。例えば，
ソーシャル
3. 異質性の探索

メディア上での誰かの発言がその後，他の人々にどのような反応を引き起こしたのかを調べる

社会と調査

3番目の有用な特徴として，
ビッグデータは大NO.22（2019 年 3 月）

18

特集

社会調査に携わる人のためのビッグデータ入門

規模であるがゆえに，異質な因果効果を調べる

Twitter における原発を巡る議論に関例えば，ことができる，という点を挙げておこう。ここ

わるツイートを母集団とするならば，それらをでいう異質性とは，ある因果関係が，時間や場所，

網羅的に収集し，原発に関するツイートを母集関係する人々の特徴などによって，異なる効果団とした「全数調査」を遂行することは不可能をもつことをいう。例えば，親の地位達成の程ではない。しかし，より広く，「公共空間で行わ

度が子の地位達成に因果的に影響を与えているれた原発に関する議論」を母集団として想定すことが分かったとする。しかし，このような因Twitter というソー
れば，これらのツイートは，

果的効果は，公的教育の質の低い地域でのみみシャルメディアで限られた人だけが参加した非られるということも同時に分かったとすれば，常に限定的なサンプルとなる。

親の地位が子の地位達成に与える因果メカニズ

以上のことに留意した上でなおやはり，あるムについてさらに深い知見を得ることができる。

母集団について全数調査やそれに近いサンプル

Weber の比較宗教社会学に典型的なように，サイズを確保できることは，
社会現象のメカニズ

普遍的に成り立つと考えられていた社会「法則」

ムを明らかにする上で大きな強みになるといっに対して時間や場所の限定をつけるというのがておきたい。というのは，適切に想定された母

社会学の伝統的なスタンスであった。この営み集団を考える限り，
データの選択性という問題

は因果効果の異質性という仕方で再定式化するを相対的に回避することができるからである。

ことができる。重要なのは，時間や場所による

例えば，どのような資源動員戦略を採用した社

限定は普遍的な因果メカニズムの追求を否定す会運動が成功しやすいかを調査したいとしよう。

るものではなく，
むしろより「深化」させるもの

従来の調査法では，時間と場所を限定したとしだということである（cf. Morgan and Winship，てもなお，発生した社会運動すべてを調べるこ

2014）
。

とは難しい。そこで，成功して存続した社会運

このように，
異質性は，
因果メカニズムについ動を中心に調査することになりやすい。
その場合，ての理解をより深めるためには必須のものといこうした社会運動の多数がある特定の資源動員える。にもかかわらず，
従来のサンプルサーベイ

戦略を採用していたからといって，その戦略がでは，サイズが比較的限られているために，異質運動の成功を因果的に導いた，ということはで性に十分に注意を払うことができなかった。

きない。それは，
例えば，
成功とは何も関係なく，
単にその時点で広く普及していて，成功した運4. 全数性・網羅性

動も失敗した運動もともに採用していた戦略で最後にビッグデータの全数性・網羅性を社会あっただけかもしれない。これに対して，網羅学的研究にとって有用な特徴として挙げておき的なビッグデータを用いれば，成功した運動もたい。ただし，この点については取扱いに注意

失敗した運動もともに分析でき，データの選択が必要である。ビッグデータ，
特にデジタルトレー性に由来するバイアスを回避できる。このようスから得られたビッグデータは，
通常，
サンプリ

な単純な例だけでなく，データの選択性は様々ングを経たものではないし，会議録などの大規

な仕方で，因果メカニズムを推定する際の障害と模テクストデータは，やじなどを除外するというなりうる。

意味での選択性を別にすれば，国会などでの議4論を網羅的にカバーしている。しかし，全数性という特徴は結局のところ，母集団として何をビッグデータを用いた
社会学的研究の事例

以上の一般的な議論をふまえた上で，本節で想定するかに相対的である。

社会と調査

NO.22（2019 年 3 月）

19

は，
ビッグデータを適切に利用することで，
社会

2と3のメカニズムそれ自体
集データを用いて，学上の重要な問題に取り組み，新たな知見の提を直接検証しようとしたのが M.J.Piskorski と A.

出に成功した，と考えられる模範的な研究をいGorbatâi の研究（Piskorski and Gorbatâi，2017）

くつか紹介したい。

である。
ウィキペディア編集データは，
従来のデー
タにはない特徴を備えている。第1にウィキペ

密度の高い社会構造の規範維持メカニズムディアの編集者たちの行為と相互行為が記録さソーシャル・キャピタルの理論では，密度のれている。その中には，「規範の侵害」，「処罰」，

高い社会構造が社会的・集合的目標を促進する「報酬の付与」として解釈可能な行為も含まれる。

メカニズムの解明が主たる課題の一つとなって第2に，編集者たちの行為がすべて時系列的に記J.Coleman（1988, 訳 , 2006）によいる。例えば，録されている。第3に，記事を一緒に編集したと

ると，
アメリカのカトリックスクールの生徒の退いう関係を社会関係とみなし，かつ関係への埋学率が低いのは，親同士が互いに知り合いであり，め込まれの程度を密度とすることで，密度の多そのことによって生徒に規範やルールを効果的

寡のある社会構造のデータを得ることができる。

に守らせることができるからである。親同士が

こうして，
彼らは，
密度の高い社会構造における互いに知り合いであるというような密度の高い

規範維持の因果メカニズムの直接的検証にまで

社会構造はソーシャル・キャピタル論では，結踏み込むことができた。

束型ソーシャル・キャピタルと呼ばれ，多数の彼らが規範の侵害としたのは，他人の編集し研究の主たる関心事となっている。

た記事を勝手にもとに戻す undo という行為

ソーシャル・キャピタルの理論は，ある特定であり，これに対する処罰が undo を取り消す行の社会的関係がある帰結をもたらすダイナミッ為である。さらに第3者による undo を取り消す

クな因果的プロセスを理論化するという意味で行為は，
もともと undo をされた側にとっては自典型的に社会学的な理論でありながら，従来の分で取り消すよりも正当性を得やすく，それゆ

データでは，
社会関係とダイナミックな因果的プ

え彼らにとっての報酬となる。この操作化にもロセスを捉えることが難しいため，直接的に検とづいて彼らが分析の結果，見出したのは次の証することが非常に困難であった。例えば，
コーメカニズムであった。

ルマンの提案したメカニズムは次のような要素

1. 社会構造の密度が高いと規範侵害の程度が低からなる。

くなること。

1. ネットワークの密度が高いと規範の侵害が減

2. 社会構造の密度が高いと規範侵害に対する処少する。

罰が生じやすいということ。

2. 規範の侵害が防止されるのは，第三者が規範

3. 社会構造の密度が高いと処罰をした他者への侵害を処罰するからである。

報酬が生じやすいこと。

Piskorski と Gorbatâi は関係的・
このように，

3. 規範侵害の処罰が可能なのは，さらに別の他者が処罰者に報酬を与えるからである。

時系列的データであるというビッグデータの特しかし従来のデータで検証できるのはせいぜ

性を活かすことで，
ソーシャル・キャピタル，とい，
ネットワークの密度が高いと規範の侵害度

くに結束的ソーシャル・キャピタルが規範の維合いが低いという関係を示すことくらいで，こ持に寄与するメカニズムに関する理論を直接検の関係が2と3のメカニズムによって成立してい証することに成功した，といえる。もちろん，
こるというのは理論的推測にとどまっていた。

の研究に問題がないわけではない。例えば，処罰や報酬付与行動の概念がウィキペディア上のこのような状況において，ウィキペディア編

社会と調査

NO.22（2019 年 3 月）

20

特集

社会調査に携わる人のためのビッグデータ入門

行為によって適切に測定できているかどうかは彼が具体的に検討したのは，法のもつ表出的・問題となるだろう。これは Salganik が「データシンボル的効果である。法は，
例えば，
人がして

の不完全性」と呼んだ問題で，サーベイの質問

よいこと・悪いことを定める社会規範に影響を項目とは異なり，「生」の社会行動を相手にする与えることで，人の行動を変える効果をもつとビッグデータ分析に特有の問題である（Salganik，

一般に議論されている。だが，この効果につい2017）。これに関して万能の解決策は存在しなての経験的証拠は多くない。そこで反移民的性

いが，同一の理論概念を異なる操作化・測定に格をもつアリゾナ州の SB1070が制定された前よる複数のデータを用いて多角的に検証していTwitter に現れる人々の態度と行動の変
と後で，

くことが，
筋の通った方策であろう。

化を分析しようというのが Flores の研究戦略となる。この戦略は，人々の行動が常時記録され制度・出来事から行為へのているソーシャルメディアの常時オンの性質をフィードバックメカニズム

利用することで可能になっているということに再度注意を促しておきたい。

社会学の研究では，ある法や制度が人々の振る舞いにどのように影響するかを検討すること

具体的な分析戦略は大きく分けて次の2つのが非常に多い。プロテスタンティズムが人々のTwitter から人々の態度部分からなる。第1は，禁欲行動に与える影響を述べた Weber の古典的や行動を測定するためのセンチメント分析といな研究はいうまでもなく，例えば，ある種の性差う方法論である。具体的には，語にポジティブ

別的な集合的表象が人々のマイクロな差別行動

な感情とネガティブな感情を割り当てた辞書をを促すとするフェミニズムの議論も，そのよう用いて，ツイートの表すセンチメントを特定するな因果メカニズムを暗黙に仮定していると考えのである。例えば， I hate immigrants. のようることができる。

な文は移民に対するネガティブな感情を示すとしかしながら，
従来の研究では，制度から行為想定される。第2に，同じ時期のネバダ州の移への因果関係を，定量的に示すことは難しく，
もっ民に対するツイートを比較対象として設定すぱら理論的推測にとどまるか，あるいは少数のる。そうすることで，アリゾナ州での SB1070のケースを取り上げた質的研究を行うほかなかっ

制定（これを X 日とする）前後での移民関連ツた。量的な研究についていえば，
従来のクロスセ

イートの差分 difference とネバタ州での X 日のクショナルなサーベイデータは，制度が作られた前後での移民関連ツイートの差分の間の差分を後に行為や態度が変容するという時間的プロセ検討することができる。これは差分の差分法

スを分析することが難しいため，制度と行為のDifference in differences と呼ばれ，因果推論を関係の定量的な分析には大きな限界があった。

行うための標準的な方法論の一つである。

しかし，
ビッグデータ，特に常時オンの性質を分析の結果，
反移民法的性格を持つ SB1070はもつソーシャルメディアのデータを用いること

メキシコ・ヒスパニック系の移民に対するセンによって，ある制度が人々の態度や行動に引きチメントに負の因果的効果をもったと結論され起こした変化を定量的に把握することが可能にている。ただし，これは態度変化というよりも，なった。ここで紹介したいのは，反移民法的な新ユーザーの参加とツイート数の増加によるも性格をもつアリゾナ州の SB1070という法が人々のであった。

の移民に対する態度や行動にいかにして影響をある出来事が人々の差別意識・行動にどのよ

Twitter データを用いて検証した R.
与えたかを，

うな因果的効果をもつのかを調べた別の研究とD. Flores (2017) の研究である。

Legewie (2016) も挙げておこう。彼の研
して，

社会と調査

NO.22（2019 年 3 月）

21

究は，行政記録のビッグデータを用いた研究でビッグデータを用いることで社会移動の地域的ある。具体的には，警官が通行人を呼び止めて異質性を明らかにした点にある。地域レベルの所持品検査をする stop and frisk という慣行の大異質性の発見は，地域という構造レベルにおい規模時系列データを用いて，黒人によるとみらて社会移動を促進したり，阻害したりする因果れる警官銃撃事件の発生が警官の黒人に対するメカニズムの探求につながる。その意味で従来差別行動を因果的に引き起こしていることを示

データでは明らかにならなかった構造レベルのした。この研究は，差別意識・行動の形成や促

因果メカニズムを解明する可能性がある。

進において，特定の出来事が果たす因果的役割

彼らの研究では，社会移動の程度は，親と子について新たな証拠を提示するものといえる。

それぞれの全体の所得分布に占めるランクの間の相関として操作化される。この測定を用

社会移動の詳細なメカニズム

いると，線形モデルで親と子の所得ランクの相世代間社会移動の分析は伝統的に社会学の中関がよく近似でき，しかもロバストだからであ

心的な研究対象であり，膨大な知見が蓄積される。この指標を基礎にして，社会移動の程度を，ている。しかしながら，近代化が進むにつれてCZ(Community Zone) と呼ばれる地域ごとに測世代間の社会移動が「開放的」となるとした近定すると，地域により大きな相違があることが代化理論が衰退した後，世代間の社会移動を阻わかった。例えば，
ユタ州ソルトレイクシティや害したり促進したりするメカニズムについてのカリフォルニア州サンノゼなどは高い上昇移動

確立した理論はいまだない。パス解析を用いた率をもつ一方で，「ラストベルト」に位置するイ

地位達成モデルは，地位の世代間伝達メカニズム

ンディアナ州インディアナポリスは低い上昇移に関する一定の知見を蓄積しているが，問題も動率で特徴づけられる。

ある。第1に，従来の地位達成モデルは，因果推このような地域の間の異質性はそれらの地論の観点からはその妥当性を強く疑われている。

域の特徴によってどの程度，「説明」できるだろ

つまり，
因果メカニズムを明らかにするというよ

Chetty らはうか。厳密な因果分析ではないが，りは，変数間の関連を記述するものにとどまっ

OLS 回帰などの方法により，当該地域の居住隔ている，と批判されている。第2に，地位達成モ

離の程度やソーシャル・キャピタルの量，学校

デルは，個人を取り巻く社会環境や構造よりも，教育の質や家族の安定性（シングルペアレントが

例えば本人学歴などのような個人的要因に注目少ないこと）などが社会移動を促進したり阻害して，地位達成を説明する傾向がある。これは，したりする社会構造的要因ではないかと示唆し近代化のような構造的要因によって社会移動のている。ここで重要なのは，これらが個人レベ変化を説明しようとした伝統的な社会移動論のルの要因ではなく，社会構造レベルの要因だと関心からはずれている。

いうことだ。例えば，
シングルペアレントの子どでは，社会移動論に対してビッグデータに基もが，上昇移動をしにくいというだけでなく，シづく研究は新たな寄与をすることができるだろ

ングルペアレントの多い，
家族の安定性を欠く地

うか。ここでは，経済学の立場から大規模政府

域では，他の子どもも上昇移動の機会を阻害さ行政記録（納税記録）を用いて社会移動の研究れるということが示唆されているのである。事を行った Chetty らの研究（Chetty et al. ，2014）

実，
続く研究（Chetty and Hendren，2018）では，Salganik，2017におけるを取り上げたい（以下，Chetty らは子どもの地域移動の機会を利用した解説も参考にしている）。

準実験デザインを用いて，地域の因果効果の存Chetty らの研究においてもっとも重要なのは，社会と調査在を実証している。

NO.22（2019 年 3 月）

22

特集

相互行為の量的分析

社会調査に携わる人のためのビッグデータ入門

非言語的コミュニケーションの音声・テクスト

言語的，
非言語的相互行為やコミュニケーショ

データから，機械学習・自然言語処理等を用いンの分析は，社会学の根本に位置するものであて抽出されている。例えば，
相互行為理論では，

E.Goffman による分析やエスノメソドロジー・り，

行為のシンクロは対象を共有する場合に生じや会話分析による緻密な研究の蓄積が存在する。

すいとされているが，これは I や You といっ

しかしながら一部の例外を除いて，これらの研た代名詞の使用として操作化される。また，状究では通常，
定量的な分析が志向されていない。

況への関わりもシンクロにとって重要だが，これ他方，
社会学の流れとはほぼ独立に，
ビッグデー

は

タと計算的手法を用いて言語的・非言語的相互話法によって操作化可能である。

I mean や You know など関わりを示す行為を定量的に分析する流れも近年，急速に増クリック度（やデート意志）を従属変数に，個

Pentland，2012など）
えてきている（例えば，。

人属性と様々なテクスト的・音声的特徴を説明

では，社会学的な立場による相互行為分析に変数とした分析の結果として次が報告されていとって，
ビッグデータはどのように利用できるる。まず，クリック度については個人属性の説だろうか。この点について考えるために，社

明力が最も高いが，コミュニケーション的，
相互会学者 D. McFarland らによる言語的・非言語

行為的特徴もその半分程度の説明力をもつ。こ的コミュニケーションの双方を検討した研究

れは，相互行為儀礼理論の一定程度の妥当性を(McFarland et al. 2013) を紹介しよう。彼らの研確認するものといえよう。さらに，とりわけ女究目的は，社会的絆の形成に関する社会学理論，性において，対象の共有や状況への関わりがク

Goffman そして R.Collins
とくに E.Durkheim，

リックと強く関連することが明らかになった。

の相互行為儀礼理論を，新たなデータを用いて男女を比べると，
一般に女性の方が，個人属性よ検証することにある。この理論のポイントは，

りも相互行為的特徴により社会的絆を形成する

社会的絆の形成について，当事者たちの属性等傾向が強いようだ。

の他に，相互行為における経験そのものが重要

相互行為のビッグデータによる分析はどであるということ，そこでの経験とは，様々な感のような新しい知見をもたらすだろうか。

情の高まりや相互行為のシンクロなどであると

McFarland らの研究を踏まえるならば，誤差のいうことである。

ともなう相互行為間の関係の析出には，大規模彼らの調査対象は，順番に多数の異性と出会

データに基づく統計的解析が威力を発揮するだい，交際相手を探すスピードデーティングといろうということだ。例えば，
恋愛関係，
また，
よ

うイベントである。彼らは，私立大学の大学院

り一般には社会的絆の形成には多数の要因が介生向けのスピードデーティングイベントを複数在するため，相互行為上のある特徴が絆形成に開催し，これをオーディオで記録した。このオー寄与したかどうかは，
ケーススタディでは見え

ディオは書き起こされ，また音声情報それ自体づらい。このような場合にも，行為間の隠されも解析されている。さらに，彼らは相手に対した因果関係をビッグデータ分析が解明する可能てクリック（気が合う）を感じたか，
デートする

McFarland らの研究は厳性がある（とはいえ，意志はあるか，等を別途，質問紙でたずねている。

密には因果分析ではない）。

理論上の被説明変数である社会的絆の形成は，資源動員にフレイムがもたらす因果効果

このデータでは，クリック度やデート意志の有無として操作化されている。これに対して，絆

最後に，社会運動論におけるビッグデータのの形成を説明する相互行為的特徴は，言語的・応用事例を検討しよう。社会運動論の中心的問

社会と調査

NO.22（2019 年 3 月）

23

いは，
社会運動はいかにして動員を可能にし，どめの組織の特徴等の簡単なサーベイ調査もアプのように集合的目標を達成しているか，というリによって行うことができる。

点にある。ここでも，様々な資源の動員のあり

彼らの理論的問いは，
フレイミングが社会運動

方と社会運動の成功との間の因果関係を説明すの動員にいかに効果をもつか，という点にある。

るという意味で因果メカニズムの探求が行われ具体的には，
フレイミングと動員との関係についている。

て，文化収容力という概念に基づく独自の理論

社会運動における動員の方法については，資を提唱している。この理論では，
フレイミングの源動員論というアプローチのもとで，様々な資包摂するトピックの多様性が鍵となる。具体的源に着目した分析が行われているが，なかでもには，多様なトピックによるフレイミングは一定運動に対する文化的な意味づけも決定的な要素程度までは多くの異なる関心の人びとの注意をの1つと考えられる。つまり，運動がどのよう引く点で有効であるが，多様性がある点を超えに文化的に意味づけられるのかによってその動ると，かえって（認知的な複雑性や一貫しない

員力は大きく変化するのである。これは伝統的印象を与えるなどの理由で）有効性が低下するに Goffman のフレイム分析を社会運動に援用すと予想される。トピックの測定は，構造トピッる形で行われてきた（Benford and Snow，2000）。

クモデルというトピックモデルの一種によってしかし従来の研究の大半は，成功した運動につ行われる。このモデルで測定されたトピックのいてのケーススタディであり，そこには特定の多様性が説明変数であり，フェイスブックでの文化的意味づけのゆえに運動が成功した可能性

ファンページへの「いいね！」の回数やシェアだけでなく，単に成功した運動がある特定の意などのユーザーの関心が従属変数となる。

味づけを採用していただけであるという「従属分析の結果，組織の資金力や組織戦略などを変数による選択性バイアス」の問題が常につき統制しても，
トピックの多様性とユーザーの関まとう。理想的には，成功した運動だけでなく，

心は逆 U 字カーブの関係にあることが報告され失敗した運動もすべて調査対象に含める必要がている。つまり，文化収容力の理論の予測するあるが，従来の方法ではこれは困難である。

とおり，
トピックの多様性は一定程度まで効果

Bail (2016) はフェイスブックアプリを用いた的であり，その後効果を減ずるということが確

大量データ取得という方法によってこの問題を認されたのである。ここでのポイントは，
フレイ

解決しようとした野心的な研究である。Bail がミングの中程度の多様性が動員に対して効果的調査対象としたのは，
フェイスブックにファンペーであるという因果メカニズムの発見は，成功したジをもつ臓器移植アドボカシー組織である。こ

社会運動と失敗した社会運動の双方をできるだ

れらを母集団と設定すれば，
フェイスブックをけ網羅的に調べることによって，得られたもの

通じた調査という手続きをふむことで，成功，失だということである。単に成功した社会運動の敗の有無にかかわらず，ほぼすべての組織を目

フレイミングの仕方を調べて，そこに中程度の多標サンプル（その数は79組織）とすることがで様性があったという結果だけでは，このようなきる（最終的な回収率は59.5%）。アプリによる

主張をすることはできない。
「失敗した運動もデータ収集は次のようになされる。まず組織が同程度に多様性を保っていたにもかかわらず失調査に協力し，アプリの利用を許可すると，
ペー敗していた」という可能性を排除できないからジの視聴回数やシェア回数などファンページ管である。

理者のみが有する様々な情報にアクセスできる
ようになる。加えて，統制変数として用いるた

社会と調査

NO.22（2019 年 3 月）

24

特集

社会調査に携わる人のためのビッグデータ入門

データ）を組み合わせることは，単独のデータ

結論5だけを用いるよりも，メカニズムの解明にとってはるかに有効たりうる。当然ながら，それぞれ

以上，本稿では，社会学にとって有用なビッのデータにはそれぞれの特徴があり，研究目的

1. 社会性・関係性，
2. 時系列，グデータの特徴を，に応じて向き・不向きがある。ビッグデータの3. 異質性，
4. 全数性，の4つにまとめた。そのう

無批判な礼賛は問題であるが，
逆に，
ビッグデー

えで，
ソーシャル・キャピタル，制度による行為

タの短所にのみ目を向け，
この新たなデータソー

形成，
社会移動，
相互行為分析，社会運動論など，

スをことさら無視し，ブレイクスルーの可能性を社会学にとって重要なトピックに対していかに閉ざしてしまうこともまた愚かしい。
ビッグデー

してビッグデータ分析が貢献できるかを，実際

タの特徴を十分に理解し，社会現象の因果メカの研究事例に即して検討してきた。

ニズムの解明に向けた効果的な活用の戦略を十分に組み立てることで，私たちは社会学的研究

これらから明らかになったのは，社会現象のを大幅に前進させることができるのだ。

因果メカニズムの解明という点に関して，
ビッグ
データが新たなブレイクスルーをもたらしうるということであった。もちろんこのことは従来

謝辞

のデータ，
サーベイデータや諸々の質的研究の本研究は JSPS 科研費 JP16K04027,JP16H03698

データが不要になるということを全く意味しなの助成を受けたものです。本研究の草稿に有益い。例えば，最後に紹介した研究にあるように，なコメントをいただいた常松淳先生（日本大学），

ビッグデータと別のデータ（この場合，サーベイ

大林真也先生（青山学院大学）に感謝いたします。

文献

Anderson, C., 2008, The End of Theory: The Data
Deluge Makes the Scientiﬁc Method Obsolete ,Wired, 23 June 2008.

Chetty, R. and Hendren, N., 2018, The Impacts of
Neighborhoods on Intergenerational Mobility
I: Childhood Exposure Effects , The Quarterly
Journal of Economics, 133(3): 1107-1162.

Bail, C. A., 2014, The Cultural Environment:
Measuring Culture with Big Data , Theory andSociety, 43(3-4): 465-482.

Coleman, J. S., 1988 , Social Capital in theCreation of Human Capital , American Journal
2006「of Sociology, 94: S95-S120.（金光淳訳，，人────, 2016, Cultural Carrying Capacity: Organ

的資本の形成における社会関係資本」野沢慎司
編 ･監訳『リーディングスネットワーク論──家
族・コミュニティ・社会関係資本』勁草書房。
）

Donation Advocacy, Discursive Framing, andSocial Media Engagement , Social Science andMedicine, 165: 280-288.

Evans, J. A. and Aceves, P., 2016 , MachineTranslation: Mining Text for Social Theory ,Annual Review of Sociology, 42: 21-50.

Benford, R. D. and Snow, D. A., 2000, Framing
Processes and Social Movements: An Overview
and Assessment , Annual Review of Sociology,
26(1): 611-639.

Flores, R. D., 2017, Do Anti-immigrant Laws
Shape Public Sentiment? A Study of Arizona s
SB 1070 Using Twitter Data , American
Journal of Sociology, 123 (2): 333-384.

Chetty, R., Hendren, N., Kline, P. and Saez, E.,
2014, Where is the Land of Opportunity? The
geography of Intergenerational Mobility in
the United States , The Quarterly Journal of
Economics, 129(4): 1553-1623.

社会と調査

Golder, S. A. and Macy, M. W., 2014, Digital
Footprints: Opportunities and Challenges forOnline Social Research , Annual Review ofSociology, 40: 129-152.

NO.22（2019 年 3 月）

25

Goldthorpe, J. H., 2015, Sociology as a Population
Science, Cambridge University Press.

M o rg a n , S . L . a n d Wi n s h i p , C . , 2014 ,Counterfactuals and Causal Inference 2nd. ed.,Cambridge University Press.

Legewie, J., 2016, Racial Profiling and Use ofForce in Police Stops: How Local Events Trigger
Periods of Increased Discrimination , American
Journal of Sociology, 122 (2): 379-424.

Pentland, A., 2012, The New Science of Building
Great Teams , Harvard Business Review, 90 (4):60-69.

Mayer-Schönberger, V. and Cukier, K., 2013, Big
Data–A Revolution That Will Transform How
We Live, Work, and Think, Houghton Mifflin
2013『Harcourt.（斎藤栄一郎訳，，ビッグデータ

Piskorski, M. J. and Gorbatâi, A.D., 2017 ,Te s t i n g C o l e m a n s S o c i a l - n o r m
Enforcement Mechanism: Evidence from
Wikipedia , American Journal of Sociology,
122 (4): 1183-1222.

の正体：情報の産業革命が世界のすべてを変える』講談社。
）

Salganik, M. J., 2017, Bit by Bit: Social Researchin the Digital Age, Princeton University Press.

McFarland, D. A., Jurafsky, D. and Rawlings, C.,2013, Making the Connection: Social Bondingin Courtship Situations , American Journal of
Sociology, 118 (6): 1596-1649.

2018 ，
瀧川裕貴 ，「 社会学との関係から見た計算：社会科学の現状と課題」『理論と方法』33（1）132-148。

McFarland, D. A., Lewis, K. and Goldberg,A., 2016, Sociology in the Era of Big Data:
The Ascent of Forensic Social Science , The
American Sociologist, 47 (1): 12-35.

社会と調査

Weber, M., 1921, Soziologische Grundbegriffe,
Tübingen: J. C. B. Mohr.（阿閉吉男・内藤莞爾訳，1987『，社会学の基礎概念』恒星社厚生閣。
）

NO.22（2019 年 3 月）

26

特集

特 集 論 文社会調査に携わる人のためのビッグデータ入門

データジャーナリズムの歩みと可能性奥山晶二郎
朝日新聞 withnews編集長

現代社会にとって欠かせない様々なデジタル

1

技術は，ビッグデータと呼ばれる膨大なデータの出現と共に発展してきた。今日の人工知能の「データジャーナリズム」の定義

発展は，ウィキペディアのようなデジタル上の本題に入る前に，データを取り巻く環境に巨大な情報群がまずあり，そこに言語処理や機よってデータジャーナリズムの定義自体，大き械学習の技術が加わったことで生まれた。そしく変わり続けていることを確認しなければならて今，SNSでの発信内容や検索単語の動向などない。

は，新しい「世論」として注目され，世の中の2011年にデータジャーナリズムの意義や手動向を知る貴重な手がかりになっている。地図法についてウェブ上で公開された「The Data

やグラフを使ったデジタル上の表現の進化はJournalism Handbook」（Gray et al., 2012）では，情報伝達の場面で新たな可能性を広げている。

データジャーナリズムの特徴について，従来の「ダボス会議」を主催する世界経済フォーラム

取材手法に加えるものとして，「現在利用可能は，2018年12月に発表した報告書で「デジタルな壮大なスケールと範囲に及ぶデジタル情報を環境」がすでに「自然環境」と同じ存在感を組み合わせることで開ける新たな可能性」にあ持っていると指摘している1）。

ると述べている2）。

国家と企業と市民にとって，切っても切り事実，この論文が発表された2011年以降離せない存在になったビッグデータに対して，

も，あらゆるモノをインターネットでつなぐ

ジャーナリズムも，従来の取材対象と同じ姿勢「IoT」と呼ばれる技術の普及に伴い，取得でで取り組まなければならない時代になっている。

きるデータの種類は広がっている。日本では

本稿では，データジャーナリズムについて，筆2020年に導入予定の超高速・大容量の「第5世者が新聞社のデジタル部門に所属する新聞記者

代移動通信方式（5G）」が浸透すれば，動画として関わってきた経験を元に，従来の取材手などの表現方法は一変するだろう。「The Data法との違いやこれまでの事例，フェイクニュー

Journalism Handbook」が用いる「可能性」といスが問題化する現在において，中立公正を担保う表現自体が，データジャーナリズムの特徴をできる取材手法の可能性などについて，以下の表していると言える。

5項目の切り口で考察する。

上記の前提に立った上で考えた場合において，
データジャーナリズムの特性は，取材の元となったデータの公開範囲について，従来の取材

社会と調査

NO.22（2019 年 3 月）

27

との違いがでることが多い。報道機関が取材で視化の手腕も問われていると言える。

得た情報は原則，記事として発信されるもの以一方，扱うデータの種類によってはテキスト

外，外部に出ることはない。報道目的以外の使中心の報道であってもデータジャーナリズムと用は憲法が保障する「報道の自由」を侵しかねしての価値を発揮できる場合はある。2018年7ない行為で，過去，テレビ局が撮影した映像を

月の九州北部豪雨で「#救助」というハッシュ

証拠として提出させるか否かが問われた訴訟でタグのついたツイートが実際の救助活動に結びは「報道・取材の自由や当事者以外のプライバ

ついたかどうかを調べた際には，公開情報であシーが侵害される恐れが高い」として最高裁がる4万2,750件の投稿を分析しているが，紙面や3）

証拠提出を認めない判断を示している 。

デジタルに発信された記事においても一部の投稿しか紹介していない4）。

従来の取材が報道機関の厳密な管理下にある情報を土台にしているのに対し，データジャー

2

ナリズムは公開情報を扱うことが多い。記事の評価は，発見されたデータそのものよりも，

データジャーナリズムの歩み

データの解釈や，従来の取材手法で得た関係者

データジャーナリズムの歴史にとって，デジの証言などを含む異なる種類の情報を組み合わタル技術の進化は切っても切り離せない。日せることによって明らかになる事実に重きが置本で本格的にブロードバンド（高速・大容量

かれやすい。

通信）のサービスが始まった2000年以降，イン

一方，世論調査や，政治家，自治体へのアン

ターネット上で提供されるサービスが次々と生ケートなど報道機関が独自に入手したデータのみ出されていった5）。2008年には日本でツイッ場合，全ての情報を公開することは原則ない。

ターのサービスが始まり，2年後の2010年には企業の内部に蓄えられたデータについて取材な

日本からつぶやく人の割合は最大の米国に次ぐどを通じて入手した場合も，記事化された情報15%に達したと報道されている6）。送受信され以外を公開することは原則なく，公開情報か否る通信量は急増しており，米シスコシステムズ

かでデータジャーナリズムを定義することがでによると，世界全体の月間トラフィックは2008

きないことも留意しなければならない。

年に10エクサバイト（1ギガバイトの10億倍）

データの公開範囲に加えて，データジャーナ

だったのが2016年には96エクサバイトになってリズムはデジタル空間を意識した形で発表されおり，デジタル空間に膨大な情報が発信されるることが多い。従来の紙中心の報道では，デーようになった7）。デジタル空間でやりとりされタを元にした記事であっても，資料の一部を撮るデータのすべてが公開されているわけではな

影した写真や図表をつけることはあるものの，いが，データ量の増加は活用できる情報の拡大

発信手段は紙面に印刷されたテキストが中心で，にもつながっている。

デジタルの発信の場合も，文字情報が主役になインターネットが進化する一方で，従来のりがちだった。データジャーナリズムの場合，報道機関の立ち位置も変化してきた。国内の膨大なデータのすべてを表現することに主眼が新聞発行部数は2000年5,370万部だったのに対し，置かれることが多く，データの見せ方自体もコ

2010年には5,000万部を割り，4,932万部となってンテンツの価値になり，様々な表現方法が生みいる8）。紙面の購読者が減るなか，デジタル発

出されている。データジャーナリズムにおいて，信への取り組みは強化され，2010年3月に日本

報道機関はデータの発見や解釈だけでなく，ビ経済新聞が有料電子版の事業を開始9）。2011年

ジュアライゼーションと呼ばれる，データの可5月には朝日新聞が有料電子版である「朝日新社会と調査NO.22（2019 年 3 月）

28

特集

聞デジタル」をスタートさせている10）。

社会調査に携わる人のためのビッグデータ入門

ターグラフィックスが次々と現れる表現はメディアをめぐる外部環境の変化から，国内「イマーシブコンテンツ」と呼ばれ，優れたの報道機関がデジタルへの取り組みを本格化さ

ジャーナリズム作品に贈られるピュリツァー

せていくなか，データジャーナリズムは新しい賞を受賞した14）。

発信手段として注目された。なかでも日本のメ2013年2月には，ロイターが8カ月かけて取材

ディアが参考にしたのが，英語圏のメディアのした中国の政治指導者の関係性をビジュアライ事例だった。

ズした「CONNECTED CHINA」を公開。紙面

英紙ガーディアンが2011年12月に公開したには載せきれない膨大な情報であっても，デジ

11）「England riots: was poverty a factor?

タル上ならユーザーに伝えられる可能性がある」は，ことを示した15）。

2011年にイングランドで起こった暴動について，当時のキャメロン首相の「貧困は原因では3ない」という発言を逮捕者の住所や貧困地域のデータを組み合わせて検証。摘発者の約6割がデータジャーナリズムの実践例

英国の最貧困地域の居住者だったことを明ら

日本の報道機関がデータジャーナリズムに取かにした12）。コンテンツは，公開情報を元に，り組むきっかけの一つになったのが2011年3月

複数のデータを組み合わせる「マッシュアッに起こった東日本大震災だった。国内ではインプ」という手法を用いている。分析の際には，ターネットが本格的に普及した後に起こった初グーグルのスプレッドシート（表作成ソフト）

めての大災害であったことから，ツイッターなと，地図上にデータを表示するソフトである

どソーシャルメディアでの発信や，グーグルなフュージョンテーブルでデータを整理し，グー

どインターネット事業者が安否確認サービスを

グルマップに落とし込むなど，主なツールとし提供するなどの動きが生まれた。報道機関もツて無料のサービスを活用している。公開情報やイッターを使い，交通や避難所に関する情報，

無料で使えるデジタル上のツールを駆使してい食料，給水，帰宅困難者の受け入れ場所などにる点は，データジャーナリズムの特徴をとらえついて，新聞紙面の締め切り時間に縛られず発ているといえる。

信した16）。デジタル空間に発信された誰もが2012年9月には米ニューヨーク・タイムズ電

アクセスできる情報が，災害という人の生命に子版が民主・共和両党大会での議員の言葉を関わる状況で活用される場面が生まれていた。

可視化した「At the National Conventions, the

筆者は2012年3月，首都大学東京の渡邉英徳

Words They Used」を公開した13）。議員によっ准教授（現東京大学教授）の研究室などが東日て発言された言葉を円で分類し，出現回数に比本大震災発生直後に作成した「東日本大震災

例して円の大きさを変え，円の中を2色に分け

アーカイブ」と連携したコンテンツ作りに参加て面積比によって党による違いも表現した。単した17）。「東日本大震災アーカイブ」はデジ語の出現回数を可視化させる手法は，その後のタル上の地球儀「グーグルアース18）」上に東

データジャーナリズムでも多用されていく。

日本大震災関連の写真や動画などを実際に撮影

2012年12月，同じく米ニューヨーク・タイム

された場所の緯度経度に表示させるというもズ電子版が公開した雪崩事故の特集記事「スの。筆者は，被災地で取材をする記者たちが得

ノーフォール」は，デジタル上の新たな表現た現地住民の震災に関する証言を「東日本大震

手法として注目された。上から下に画面をス

災アーカイブ」でも発信するための許諾の調整

クロールさせると，動画や写真，コンピューや，デジタル上で表現できる素材の加工などを社会と調査

NO.22（2019 年 3 月）

29

担当した。住民の証言は紙面上ではマス目上のは，自民党が294議席（公示前118議席），民主レイアウトで配置されていたが，「東日本大震

党は57議席（公示前230議席）という自民党の災アーカイブ」では，住民が住んでいた場所に圧勝という結果に終わっていた21）。記事では，証言が表示され，ユーザーが自分でデジタル上

自民圧勝という選挙結果の一端が，ツイッターの地球儀の縮尺や視点を変えながら読むことがでの政党名の出現回数にも現れていたことを，できるようにした。

政治学の研究者の分析とともに伝えた22）。ツ

東日本大震災を巡っては，2012年9月に「東イッターの分析では，ビッグデータ分析を手が日本大震災ビッグデータワークショップ」の取けるプラスアルファ・コンサルティング社の協り組みも生まれている。グーグルやツイッター，力を得た。データは，企業がマーケティングな朝日新聞社，NHKなど8社が，それぞれの組織

どに使うシステムを用いて抽出した。政党名なにあるデータを提供し合い，危機対応や事前のどにはデジタル上で使われる特有の言い換えが対策について検証した。震災発生から1週間のあることから，テストデータを抽出しながら単記事や検索キーワード，カーナビの走行情報な語の整理を進めた。例えば「共産党」の場合はどのデータを研究機関や企業に提供するという「中国共産党」は除外するなどの規則を設定し，ものだった19）。

検索の手がかりとなる辞書セットを作成。報道用として扱っても問題のない精度まで高めた。

2013年3月，筆者らは検索エンジン大手ヤ
フーのデータを用いて，東日本大震災から2年

筆者らは，2013年7月にあった参院選でもツ間のデジタル空間の状況を伝えた。「被災地」

イッター分析を実施した。選挙関連のツイートと「求人」の二つの単語を組み合わせて検索すの数は参院選前では，衆院選前に比べ約125万7

る人は，岩手・宮城・福島の被災3県より，秋千件減っていたことから，デジタル上で選挙へ

田・青森の両県の方が多いことが明らかになっの関心が薄れている現れであると伝えた。

た。分析したデータと現地での取材とを組み合ツイッターの分析においては，報道機関が選わせた結果，検索傾向の背景には，両県の有効

挙のたびに実施する「世論調査」と違い，取材

求人倍率の低さなどの影響があることがわかっ者があらかじめ設定していない問いに対する答

た20）。

えが出るところに大きな特徴があった。2013年

災害報道と並行して試みたのは，候補者関連

7月の参院選に関するツイッターを分析した結の膨大な情報が集まる選挙報道だった。筆者ら

果，当時，大きな争点とは考えられていなかっは2012年12月に投開票された衆院選の選挙期間た「児童ポルノ禁止法案」が熱心に議論されて中に発信されたツイッターの投稿を分析する企いることがわかった。調査には，東北大学の乾画「ビリオメディア」を発表した。当時，日本

健太郎教授と岡崎直観准教授（現東京工業大学

でもツイッターのユーザー数は1千万人を超え教授）の協力を得た。調査に参加した岡崎氏はていたことから（野村総合研究所, 2013），ツツイッター分析について「世論調査では見つけ

イートデータはデジタル上に発信された人々のられない，思ってもいない動きを浮かび上がら

考えを知る重要な取材源になると考えた。

せることができる」と述べている23）。

衆院選に立候補者を立てた12政党の名前や主同じく2013年7月の参院選では，東京大学のな略称が含まれるほぼすべてのつぶやき計約

松尾豊特任准教授の協力を得て候補者のツイッ460万件を抽出した結果，「自民」を含むもの

ターアカウントのフォロワーについても調査しは計150万7,281件あり，「民主」の99万9,903件た。フォロワーのフォロワーである「孫フォの約1.5倍に達していたことがわかった。選挙

ロワー」の多さから，候補者のツイートがリ

社会と調査

NO.22（2019 年 3 月）

30

特集

社会調査に携わる人のためのビッグデータ入門

ツイートされた率と「孫フォロワー」の数を掛の残高が急増している状況を地図とグラフを組け合わせた「拡散力」を割り出した。候補者のあわせて可視化した26）。

フォロワー同士の関係性も調査し，ある候補者

2014年7月，筆者らはスマートフォン向けののフォロワーが，別の候補者をフォローしてい新たなウェブメディア「withnews」を立ち上る結びつきを辿った結果，公明党は党内部か自げた。「withnews」は，「Yahoo! News」など

民党とのつながりがほとんどで，他党への広が外部のプラットフォームで新聞社の記事を読ん24）

りが見えないことなどがわかった 。

でもらうことを柱にしている。「withnews」
立ち上げの背景には，データジャーナリズムの4

データジャーナリズムの課題

コンテンツを手がける中で見えた課題があった。
特に大きかったのが，労力に見合うだけの効果を数字として出しにくいことだった。

2012年から本格的にデータジャーナリズムに

データジャーナリズムを発表する際には，取り組んで以降，筆者らは継続的にコンテンツ

数ヶ月から半年以上かけて様々な工夫を施したを発表してきた。
2013年12月には，岩手県大槌町に駐在していページを準備することが少なくない。通常のた朝日新聞の記者が保存していた新聞紙と一取材よりも労力をかけた企画の場合，紙面上で緒に配達される折り込みチラシ5,551枚について，

は1面など目立つ位置に配置することで，取材

東日本大震災発生から1,000日の間に枚数や内容

成果に見合う効果を生み出すことが期待できがどのように変化したのかを伝える「チラシでる。一方，デジタルの世界は，自社の記事でたどる震災1000日」を発表した。津波によってあっても新聞社の裁量で記事の流通は制御でき壊滅的な被害を受けた大槌町では，新聞配達がず，読者の目に触れるまでには，ポータルサイ

再開された後も長く折り込みチラシは止まってトやSNSなど，新聞社以外の事業者，個人の関いた。震災から77日目にあたる2011年5月26日

与が必要になる。ロイターの調査によると，日に再開した際に配られた折り込みチラシは1枚

本のインターネットユーザーの51%は「Yahoo!

だけで，町外の重機リース会社によるものだっNews」経由で記事に接触しているのに対し，た。デジタル上の特集サイトでは上から下にス

朝日新聞（Asahi Shimbun online）は9%にとどクロールすることでチラシが日を追うことに積まっている27）。デジタル上のニュースコンテ

み重なっていく様子を表現。手書きで営業再開

ンツの流通を考える上では「Yahoo! News」のを伝える自動車整備工場のチラシや，町の中心ようなポータルサイトに適した形式で発信する施設だった大型スーパーの再開を知らせるチラことが重視されるが，データの見せ方などをこシなどを，現地で起きた震災関連の出来事に連だわったページの多くは，自社サイトでしか動動する形で体験してもらうことで，復興の度合作できないため，多くの人の目に触れるポータ

いと震災によって起こる様々な問題の関係性をルサイトには直接配信できない。デジタルの世可視化した25）。

界で重要な流通面での課題は，データジャーナ
リズムの成果を認知させる場面で大きな障壁に

2014年3月には，政府が指定した2015年度まなっている。

での「集中復興期間」に予算化される25兆円の使い道などを分析する「お金でたどる震災3

人材の面でも課題は少なくない。データ年」を発表した。被災3県の決算情報から，単ジャーナリズムにおいて，記者は情報を発掘す

年度で終わらない大型事業の増加と工事業者のるだけでなく，様々な専門分野の人間をまと不足による入札の不成立によって自治体の基金

めるディレクターとしての役割が求められる。

社会と調査

NO.22（2019 年 3 月）

31

ビッグデータの分析には自然言語処理，機械学

報保護との兼ね合いから外部への提供は限定的

習，ビジュアライゼーションにおけるHTMLのになることが多い。筆者らは2013年7月の参院

技術などの知識が欠かせない。新聞社内部に専選や，2016年4月の熊本地震などにおいて，検門家がいなければ，大学や企業など，外部との索エンジン大手のヤフーからデータの提供を受連携が必要になる。研究者の専門分野と報道とけているが，データジャーナリズムの成果としの相性を判断する知見がなければ，連携相手をて報じる際には，絶対値ではなく相対値を伝え

見つけることができない。取材の際には，膨大ている29）。

なデータを分析する調査方法の妥当性も考えな5ければならない。投票行動に影響を与える選挙報道の場合，論文としての正確さとは別に，当データジャーナリズムの可能性

事者である立候補者や有権者である受け手に読検索サービスやSNSなどが浸透したことで，者として納得してもらう配慮を手当てしなけれ

読者は自分が好む情報を簡単に入手できるようばならない。分母となるデータはサンプル調査になったが，偏った考えが固定化し異なる意見で分析可能な場合でも，あえて全データを対象を排除する社会の分断化を生むことにもつなにするよう判断も必要になる。

がっている30）。既存の報道機関を介さず，ツ一連の作業で必要な技術と報道を組み合わせ

イッターやフェイスブック，インスタグラムやた人材の育成基盤は，ほとんどの新聞社で整っブログなど様々なプラットフォームからメッておらず，コンテンツが生まれるか否かは記者セージを発信する政治家や芸能人が現れ，読者

個人の力量と担当分野との相性に左右されるの意思決定に影響力のあるインフルエンサーとことが多い。人事異動などで担当が変わると，呼ばれる存在も生まれている。

データジャーナリズムの取り組みを継続できな一方で，公益財団法人新聞通信調査会の調査

くなることも少なくない。

によると「新聞への信頼感が低くなった理由」

現在，継続的にデータジャーナリズムに取として，「特定の勢力に偏った報道をしている

り組んでいる報道機関は，2015年5月から「日から」と答えた人の割合は年々上昇しており，

経ビジュアルデータ」として企画を発表して2016年度調査で29.7%だったのが，2018年度調査

いる日経新聞以外，目立った存在がいないのでは46.7%になっている。

が実情だ

28）

2016年の米大統領選で問題となったフェイ。

取材源であるデータ取得でも課題が生まれてクニュースの背景には，インターネット上いる。デジタル上には膨大な情報が存在するもに様々な情報があふれるようになった変化にのの，統計指標など分析に適した形である構造

加え，メディアに対する不信感があることも化されたデータとして使えるものは一部にとど報道機関は受け止めなければならない状況にまる。ツイッターの投稿文など，自然言語で発なっている31）。

信された非構造化データを扱おうとすると，単筆者は，報道機関をとりまく環境が大きく変

純な単語の出現回数でしか測れないことが多い。

わる中，客観的なデータを中心に記事を組み立

ネガティブ，ポジティブの極性判定まで踏み込

てるデータジャーナリズムには，メディア不信

むには，日本語の複雑な係り受けの法則を見極を払拭させる可能性があると考える。

めなければならず，報道目的に扱うにはハード

記事本文で使用する部分しか表に出さなかっルが高いのが現状だ。IoTの発展により企業内た従来の報道に比べ，公開情報を元にしたデー部に蓄えられたデータも増えているが，個人情

タジャーナリズムによって生まれる記事は，反社会と調査

NO.22（2019 年 3 月）

32

特集

社会調査に携わる人のためのビッグデータ入門

証する機会を担保することができる。記事に対た。データの網羅性に特徴があるデータジャー

して批判的な意見が出たとしても，客観的デー

ナリズムなら，公開された膨大な情報から個々

タと一緒に議論をすることで，足りないデータの読者の興味関心のあるものだけを届けることの再調査が提案されたり，データに対する記事ができ，サービスとしての価値を報道に生み出とは異なる解釈が提示されたりといった，共創

すことができる。

的な動きが生まれる可能性がある。

朝日新聞が，全国的に不足する待機児童問題

朝日新聞社と東京大学谷口将紀研究室は2003の現状を伝えるために制作した「待機児童問題

年から衆院議員選挙と参院議員選挙時に候補者「見える化」プロジェクト」では，「あなたのに対してアンケート調査を続けている。紙面

街の待機児童」という項目を設け自治体ごとの上で調査結果の分析記事を掲載するとともに，待機児童数や保育所数，定員，利用児童数を可

2012年の衆院選からはデジタル上での独自コン視化した。関心のある自治体をページから選ぶ

32）

ことで，待機児童の実態を知ることができるよ

調査結果はデジタル上で公開しており，無料でうになっている34）。細かなデータも扱いやす

テンツの制作にも本格的に取り組んでいる。

33）

ダウンロードできるようになっている 。

い形で公開できれば，ジャーナリズムとサービ
ス，両方の機能を果たすことができる。

メディア不信の高まりと同時に，既存の報道機関に接する人も減少している。NHK放送文

同じく朝日新聞が制作した「揺れやすい地化研究所による「2015年 国民生活時間調査」

盤」は，防災科学技術研究所の「地震ハザードの「新聞の行為者率」では，1995年に「国民ステーション」のデータを用いて，任意の住所

全体」の52%が平日に新聞（電子版を含む）

を入力することで「揺れやすさの目安（表層地を読んでいたのに対し，2015年には33%にまで

盤増幅率）」を数値化したものが表示されるよ減少している。テレビも1995年に92%だったの

うになっている35）。大災害に至らない規模のが，2015年は85%となっている。対して2005年

地震速報であっても，人々の関心が高まる機会から調査を始めた「趣味・娯楽・教養のインに防災への意識を高めてもらうため，地震情報

ターネット」で2005年にインターネットを利用を伝える記事の中に関連情報として特集サイト

していた「国民全体」の数字は13%だったのが，へのリンクをつけている。

2015年は23%に増加している（NHK放送文化研2016年4月，朝日新聞は，南ドイツ新聞と非究所, 2016）。

営利の報道機関「国際調査報道ジャーナリスト

既存メディアの読者離れ，視聴者離れに対し連合」（ICIJ）が入手したカリブ海の英領バーて，ニューヨーク市立大学大学院のジェフ・

ジン諸島などのタックスヘイブン（租税回避

ジャービス教授は，啓発的な性格が強かった地）に設立された21万余の法人に関する電子ジャーナリズムの役割に，サービス産業としファイル「パナマ文書」についての分析記事ての価値が求められていると指摘する（Jarvis,を報道した。本稿の冒頭で紹介した「The Data

2014）。発信手段が限られていた時代，物理的Journalism Handbook」は，2011年の「Mozilla

制限から，報道機関が個々のユーザーに合わせFestival」というエンジニアやデザイナーなて作り方を変えることは難しく，最大公約数とどが集まるカンファレンスの中で生まれておしての重要な情報を精査して届けることに専念り36），日本語訳も，国内のメディア関連の研していた。一方，デジタルサービスの多くは，究者や報道機関の記者の有志によって手がけ

検索サービスに代表されるように，個々のユーられている37）。「パナマ文書」や「The Data

ザーの趣味趣向に細かく応える形で発展してきJournalism Handbook」の取り組みは，データが社会と調査

NO.22（2019 年 3 月）

33

媒介となり，報道機関同士，あるいは報道機関

ナリズムには社会のハブ役になり得る価値があと研究者らとの間に連携が生まれ，新しい報道ると考える。最後に，本稿がきっかけとなり報の形につながる可能性があることを示している。

道機関と研究者，エンジニアらとの連携が進む

個人の趣味趣向が細分化し，思想信条が分断ことを期待している。

化しつつある現代社会において，データジャー

文献略』東洋経済新報社。
）

Gray, J., Bounegru, L. and Chambers, L. (eds.),
2012, The Data Journalism Handbook, O'Reilly
Media.

NHK放送文化研究所（編）2016『，，データブック国
NHK出版。
民生活時間調査 2015』

Jarvis, J., 2014, Geeks Bearing Gifts: Imagining
New Futures for News, New York: CUNY
2016『Journalism Press.（夏目大訳，，デジタル・

2013『野 村 総 合 研 究 所，
， ソ ー シ ャ ルメデ ィ ア
利用実態』（http://www.soumu.go.jp/main_content/000208354.pdf）

ジャーナリズムは稼げるか ― メディアの未来戦

注1）“Wo r l d E c o n o m i c F o r u m R e p o r t
A d d r e s s e s C r i s i s o f Tr u s t , S l o w i n g
G r o w t h i n O u r D i g i t a l Wo r l d . ”h t t p s : / /www.weforum.org/press/2018/12/worldeconomic-forum-report-addresses-crisis-of-trustslowing-growth-in-our-digital-world

10）『朝日新聞』2011.05.19 朝刊「<お知らせ >創刊，
朝日新聞デジタル 電子新聞，新しい形」

11 ）h t t p s : / / w w w. t h e g u a r d i a n . c o m / n e w s /datablog/2011 /aug/16 /riots-poverty-mapsuspects
12）『朝日新聞』2012.05.14 夕刊「（データジャーナ
あぶり出す」
リズムの世界 :1）暴動の背景，

2）データ・ジャーナリズム・ハンドブック日本語

翻訳プロジェクトによる日本語版がウェブ上で無料公開されている。
（http://datajournalismjp.

github.io/handbook/)

3）『朝日新聞』2017.07.28 朝刊「警官制圧で死亡，
映像提出「不要」 鹿児島の事件，最高裁」

4）『朝日新聞』2017.11.04 朝刊「救助要請 224 件，
拡散 92578 件に 警察受理は 1 件 … 受け皿作り
課題」

13）https://archive.nytimes.com/www.nytimes.
com/interactive/2012 /09 /06 /us/politics/
convention-word-counts.html
14）『朝日新聞』2013.10.06 朝刊「（ワールドけいざい）米の新聞，変革に挑む 読者に合わせ『パッケージ化』」

15）http://china.fathom.info/

5）『朝日新聞』2004.01.15 朝刊「ADSL利用 1000 万

16）『朝日新聞』2011.10.15 朝刊「被災者の『言いた6）『朝日新聞』2010.05.24 夕刊「(メディア激変 :37)
発祥の地から :4 つぶやき大国日本へ」

17）
http://shinsai.mapping.jp/index_ jp.html

7）『日本経済新聞』2017.10.24 朝刊「ネット投資の18）現在は別のシステム「cesium 」を使用

件突破 昨年末，総務省まとめ」

いこと』をストレートに 震災と原発事故 新
聞週間特集」

行方は ―― 米シスコシステムズ日本法人社長鈴木みゆき氏，中小の伸びしろ大きく（経済観測）」

8）日本新聞協会「新聞の発行部数と世帯数の推移」（https://www.pressnet.or.jp/data/circulation/
circulation01.php）
9）『日本経済新聞』2010.03.23 朝刊「日経電子版創19）『朝日新聞』2012.09.13 朝刊「東日本大震災当時，情報はどう流れた 研究者ら検証」

20）『朝日新聞』2013.03.13 朝刊「（ビリオメディア）
ネットの関心，動く 東日本大震災，
つぶやき・
検索この 2 年」

刊しました，多彩なコンテンツ，機能も充実」

社会と調査

NO.22（2019 年 3 月）

34

特集

社会調査に携わる人のためのビッグデータ入門

21）『朝日新聞』2012.12.18 朝刊「党派別当選者の29）『朝日新聞』2016.09.13 朝刊「熊本地震，
そのと

22）『朝日新聞』2012.12.22 朝刊「（ビリオメディア）

30）『朝日新聞』2018.05.10 朝刊「（耕論）揺らぐ言23）『朝日新聞』2013.07.26 朝刊「（ビリオメディア）

31）『朝日新聞』2017.05.23 朝刊「メディア不信の時
代に 第 6 回メディアフォーラム」

24）『朝日新聞』2013.07.03 朝刊「（ビリオメディア）32）
http://www.asahi.com/senkyo/sousenkyo46/
asahitodai/

内訳 衆院選」

き検索したのは ヤフー分析」

自民に『期待』『嫌だ』つぶやき白熱 衆院選，ツ
イッター分析」

論の土台 スマイリーキクチさん，
アーロン・シャロックマンさん，上井靖さん」

つながる力，次こそ真価 参院選」

「原発」つぶやき続く 衆院選から参院選へ，
ツイッターを分析」

33）東京大学大学院法学政治学研究科谷口将紀研究室 :東大谷口研・朝日調査ウェブサイ
ト http://www.masaki.j.u-tokyo.ac.jp/utas/
utasindex.html

25）http://www.asahi.com/shinsai_fukkou/
otsuchiad/26）
http://www.asahi.com/shinsai_fukkou/3nen/

34）
http://www.asahi.com/special/taikijido/

27）
Reuters Institute Digital News Report http://
www.digitalnewsreport.org/survey/2018/japan2018/35）
http://www.asahi.com/special/saigai_jiban/
36）
http://datajournalismjp.github.io/handbook/%E5%89%8D%E4%BB%98%E3%81%91_0.html

28）『日本経済新聞』2015.05.17 朝刊「特集 ―― 日

本経済新聞電子版，電子版トップページ刷新，
紙面連動企画もスタート」

社会と調査3 7 ）h t t p : / / d a t a j o u r n a l i s m j p . g i t h u b . i o /releases/20161118.html

NO.22（2019 年 3 月）

35

特 集 論 文

ビッグデータによって変わる
未来の公的統計水野貴之
国立情報学研究所 准教授のソーシャルネットワーク情報と，取引仲介

1

はじめに

型の商業取引データ，デバイス生成型のIoT活用によるデータの３つに分類できる（Hammer

公的統計は社会・経済に対する人間ドックのet al., 2017）。ソーシャルネットワーク情報にような働きをしている。現在の社会・経済の状

は，FacebookやTwitter，LinkedInなどのSNS情況だけではなく，どこに問題があるのか，問題

報，インターネット検索エンジンでの検索情に対する対策の効果はでているのか，将来はど報が該当し，これらを活用して失業率のナウのようになるのかということを把握するためにキャスティングなどが各国でおこなわれている

必要不可欠な情報である。我々が，健康診断で（Antenucci et al.,2014; Bean, 2016; D’Amuri.

はなく人間ドックに行って，身体のありとあらand Marcucci, 2012）。
商業取引データには，商取引記録，銀行決済，ゆる箇所を調べてもらうにはお金がかかるし，検査結果が出るまでにも時間がかかる。これが民間企業のウェブサイト情報などがある。小売

国全体の調査であるから，どれほどの検査項目

店のPOSデータやネットスーパーでの商品価格があるのか，どれほどのお金がかかるのか，どを活用することで，物価の把握が効率的に精度れほどの調査期間が必要であるのか，想像し難

良く即時性を持ってできることが知られている

い。先進国では投資家から高頻度で低遅延の統（Cavallo and Rigobon, 2016; 東大日次物価指数計が求められるし，途上国では厳しい予算制約

プロジェクト，2014～）。

の中で統計作成が求められる。このような問題

IoT活用によるデータは，携帯位置情報を解決するために注目を集めているのが，民間（GPS）や自動車走行データなどが該当する。

が保有するビッグデータ（以降，ビッグデータ

近年，この種のデータの伸びが特に顕著でありと呼ぶ）である。ビッグデータを活用すること（総務省情報通信国際戦略局情報通信経済室,により，（1）新たな統計の作成，（2）従来の公2014），様々な領域の専門家から，これらの的統計よりも精細な情報提供，
（3）
公的統計の

データによる景気動向把握の可能性が指摘され早期化（公表周期の短縮化），
（4）
公的統計の

ている（NTTデータ経営研究所, 2015）。2017

ナウ・キャスティング，（5）
公的統計の精度向年，ドイツやデンマークでは移民局の職員が亡上，（6）公的統計の報告者の負担軽減，（7）公命希望者の携帯電話からデータを抽出できるよ

的統計の製作コストの削減と効率性向上が期待

うに法律を改正した。把握の難しい移民・難民できる（Struijs, 2016）。

に関する統計での活用も期待されている。
ビッグデータは万能ではなく，公的統計へのIMFによると，ビッグデータは，個人生成型

社会と調査

NO.22（2019 年 3 月）

36

特集

社会調査に携わる人のためのビッグデータ入門

活用には注意しなければならない点がある。従

務大臣の「経済情勢を的確に把握するために来の公的統計の算出に使われるデータは，予めは，GDPを推計するもととなる基礎統計の充実

サンプリング等が調査設計されたデータであに努める必要がある」との発言のもと，骨太方るのに対して，ビッグデータは一般社会の経

針2016，骨太方針2017を経て，「証拠に基づく済社会活動の副産物として生成・蓄積された政策立案」（Evidence-Based Policy Making）のデータであり，本来の利用目的に起因して，ノ推進が決まった。これを支える基盤として公的

イズ（SNSの大半は意味のないおしゃべり）や，

統計を強化すべく，ICTの進展により生成・収バイアス（Instagramは女性ユーザーが多い），

集・蓄積等が可能・容易になる多種多様のビッ

持続性（Twitter社は2015年に位置情報取得を

グデータの活用が，現在の公的統計基本計画で2段階承認に変更したために詳細な位置情報ツ閣議決定された（総務省，2018）。

イートが激減），データ形式（あるPOSデータ

このような背景のもと，公的統計改革がス

ではラム酒がウィスキー分類），真実性（SNSタートした。公的統計は，景気サイクルや物価の居住地設定が火星）という問題がある（別所，の上昇などを捉えるために過去の指数との比較

2018）。従って，公的統計に活用する場合には，が必要である。それには調査条件を同様にする

データ供給元の知見と協力が欠かせない。その必要があるが，時代の流れとともに変化する社

ためには，ビッグデータを社会インフラ・公共会構成には対応できない。ビッグデータを活用

財として価値観共有をおこなうこと，データ供することで，既存統計で把握できていない経済

給元へのインセンティブ設計が重要である。

活動の把握に努めることが期待されている。ま以降の章では，まず2章で，我が国の省庁

た，POSデータ等を積極活用することで，調査における既存の公的統計の速報性の向上やコから統計公表までのタイムラグや，公表周期をスト削減に向けたビッグデータ活用の取組に短くすることが望まれている。さらに，国連がついて紹介する。3章では，海外事例につい定めた持続可能な開発目標（SDGs）等の統計て紹介する。たとえば税収の少ない小国では，のグローバル対応や，地方自治体とも共働した

ビッグデータが積極的に活用されている。4章

地方経済の動向把握なども進められている。しでは，ビッグデータによる新たな公的統計のかし，ビッグデータは企業活動の副産物である

可能性について指摘し，5章では，ビッグデー

ために，あらゆる面で標準化や統一化がなされタによる公的統計作成の課題について述べ，ていないという点で，利活用に向けての障壁とまとめとする。

なっている。そこで，各省庁では，企業等からのデータ提供のあり方，データの品質の確保，

2

日本の動向

専門人材の育成等について産官学連携で取り組んでいる。以降，我が国における各省庁及び公2.1 背景的統計に関連する民間の取組について紹介する。

現在の公的統計におけるビッグデータの活2.2 取引仲介型の商業取引データの検討状況

用の検討は，第Ⅲ期公的統計基本計画（2018年度）にもとづいて進められている。ここに至我が国におけるビッグデータの公的統計へのる我が国の背景としては，2014年の「世界最先活用の中心は，商業取引データ，特に小売店か

端IT国家創造宣言」・「日本再興戦略」でビッら収集されたPOSデータの活用である。総務省

グデータ活用による新サービスの創出を謳い，では，消費者物価指数の算出において，製品サ2015年10月の経済財政諮問会議における麻生財イクルが極めて短いパソコンやカメラの価格に

社会と調査

NO.22（2019 年 3 月）

37

2.3 デバイス生成型の IoT データの検討状況

ついてPOSデータを利用している。また，2018年からは，各社のPOSデータを順次活用し，消橋脚に取り付けられた振動センサーや，風力費動向をマクロ・ミクロの両面から捉える速発電塔に付けられた風力計，家庭にあるスマー

報性の高い消費指標（参考値）：消費動向指数

トセンサーなど，近年，このようなIoTデバイ（CTI）の公表を始めている。内閣府においてスが爆発的に増加している。各省庁ではIoTデも，POSデータによる経済情勢の変化の早期把バイスから得られるデータの公的統計への活用

握に向けた取組が概算要求の資料等から確認での検討が始まっている。国土交通省では，交きる。民間等での取組については，東大日次物

通・運輸関連のビッグデータのなかに，公共交

価指数プロジェクトがよく知られており，スー

通ICカード，車両感知器，携帯電話・スマート

パーマーケットの日々のPOSデータを使うこと

フォンの位置情報，カーナビの位置情報，速度

で日用品の価格と販売量を把握し，月次単位

情報，燃費情報，自動車の操作情報といったの公的物価指数CPIを日次で補間することが可

IoTデータが多いことから，いち早く活用に取能であるとの報告がある（東大日次物価指数プり組んでいる。交通量調査は概ね5年に1回，全ロジェクト，2014～）。速報性を高めることで，

国24,000区間において人海戦術で観測をしてお

東日本大震災後の物価上昇，タバコ増税前後のり，予算面から高頻度に調査することはできな

駆け込み需要と反動など，公的統計よりタイムい。そこで，2010年の調査では，民間事業者等

リーに動向を把握することが可能である。

が収集した車の位置情報であるプローブデータ

他の商業取引データの活用事例では，内閣を活用することで，調査にかかるコスト軽減を

官房及び経済産業省が地域経済分析システム

図った（NTTデータ経営研究所, 2015）。さら（RESAS）において，企業間取引データを活に，2015年度においては，プローブデータによ用した地域経済を支える中核企業の分析プラッ

り被災状況の収集・分析がおこなわれた。2018

トフォームを2015年度から提供している（経済年の東京都市圏のパーソントリップ調査では，産業省, 2015）。内閣府では，国民経済計算に域内の人々の移動を推計するために携帯電話基おいて各種企業の有価証券報告書を利用し，景地局データ（位置情報データ）が利用された

気動向指数においては日経商品指数・東証株価（国土交通省都市局都市計画課都市計画調査室，指数・長期国債利回り・中小企業の売上見通し

2018）。これらプローブデータや位置情報デーを利用している。また，世界各国の週次の資金

タは，個人情報保護の観点から，匿名化処理前

流出入データや日次のM&Aデータを活用して，のマスターデータを国土交通省も扱うことがで危機発生時における海外経済リスクの点検が検きない。個人ごとの移動に着目した交通調査を討されている。国土交通省でも，設備工事業におこなうには，どのように個人の同意を取るの

係る受注高調査において，関係する工業協会かかという問題が残っている。

らデータの提供を受けている。労働市場に関す
2.4 ソーシャルネットワーク情報の検討状況

る分析事例もある。総務省のワーキングペー
パーでは，民間の人材紹介サービス企業が保有３章で紹介する諸外国における活用状況に比する「転職時の賃金変動状況」の情報から，公べて，我が国では活用事例が少ない。社会全体

的統計では補足できない新たな雇用の動向把握を反映した公的統計を作るためには，サンプリ

や，雇用動向調査の先行指標を作成できる可能

ングバイアスの修正が必要だが，そのバイアス性を指摘している（高田他，2018）。

の修正に必要な属性情報をSNSデータや検索履
歴データからは読み取りにくいという問題があ

社会と調査

NO.22（2019 年 3 月）

38

特集

社会調査に携わる人のためのビッグデータ入門るためだと思われる。それでも，経済・社会のオランダやエストニアなどが該当する。これら

大まかな傾向を読み取ることは可能であり，例の国では，ビッグデータの活用には信頼性の面

えば，日本銀行レポート・調査論文では，東日

では不安があるが，経済や人口などの傾向を捉

本大震災前後のサービス消費（旅行）についてえられ，報告者負担や調査費用を削減できるこの分析がおこなわれており，旅行関連の検索とに大きな利点を感じている。このような海外

データが旅行取扱額のナウキャスティングにおの利活用状況について，順に紹介する。

いて有益な情報を有していると報告している
3.2 取引仲介型の商業取引データの検討状況（白木他，2013）。

物価に関する新興国も含めたナウキャスティ

3

海外の動向

ング事例として，しばしば実例に挙がるのは，
米国MITの研究者が中心となって実施している

3.1 背景「ビリオン・プライス・プロジェクト」である

ビッグデータの公的統計への活用に絞って背（Cavallo and Rigobon, 2016）。このプロジェク

景を述べていく。昨今，先進各国では公的統計

トでは，世界70カ国以上の約900のインターネッのもととなる世論調査の回答率が下落している。

ト小売業者の商品価格を日々収集し，それをまた，グローバル化により新興国や途上国の経もとに各国の価格指数を作成している。2008年

済状況を知りたいという要望があるが，予算制のリーマン・ブラザーズの破綻のさいには，公約が厳しい中，調査項目や頻度を改善すること的統計の公表前に，小売り各社の販売価格引きが難しい。このような背景により多くの国で公下げを察知した。このようなオンライン市場の的統計改革の機運が高まり，2009年より国連に

価格データやPOSデータを用いた物価の把握は，おいて，ビッグデータの公的統計への活用に関

英国統計局，オランダ統計局，スウェーデン統する検討が開始された。そこでは，ビッグデー

計局，ルクセンブルク統計局，そして我が国のタの活用は雇用，経済，人口についてリアルタ

統計局でも，検討や試験的な運用がおこなわれイムの状況を把握することに役立つこと，国際ている。

的な協力を通じて活用技術を新興国や途上国に

雇用統計に関してもビッグデータの活用が検移転すること，公的統計への利用にはデータの討されている。毎月第１週目の金曜日に，米国

信用性が課題であることが述べられた（United

労働省により前月の雇用統計が発表され，世Nations Economic and Social Council, 2014）。同界の金融市場に大きな影響を与えている。米じくOECDでも，2012年の統計委員会では，政国における民間就業者の約2割の給与計算業務

策形成過程にビッグデータが有する可能性やを実施している給与計算アウトソーシング会

公的統計にとっての課題が議論され，2015年

社Automatic Data Processing（ADP）は，そのに，ビッグデータの増殖と公的統計及び公的機

給与データを活用して雇用統計の2営業日前に関に対する影響の予備分析報告書が公開された

米国ADP雇用統計を発表している。この統計（Reimsbach-Kounatze, 2015）。

は先行指数として注目されている。連邦準備制

このような国際的なトレンドのもとで，経済度理事会のワーキングペーパーでは，その給与規模の大きな国では，日本と同様に公的統計のデータを活用することで，公的統計を補間する

多様化・精緻化・速報性を高めるためにビッグ

週次指数や給与支払いの頻度指数の開発，速報

データの活用が検討されている。より積極的に値に対する改定幅の予測が可能であると分析し活用が進んでいるのが経済的に小さな国々で，ている（Cajner et al.,2018）。JP Morgan Chase

社会と調査

NO.22（2019 年 3 月）

39

Instituteは，同行顧客2,800万人以上の口座記録

チメント分析の結果が消費者信頼感指数と高からランダムに100万人を匿名化して抽出し，い相関を持つことを明らかにし，これを活用

米国における賃金格差を計測した（Farrell and

して統計調査のサンプルサイズや調査頻度のGreig, 2016）。給与水準が低い若年層の労働者削減が可能であることを示した。欧州中央銀において賃金格差が高いことや，米国西部でよ行でも同様の分析がおこなわれており，SNSかり強い格差を観測した。これら以外にも，求人ら数値化した消費者のセンチメントが消費者広告をもとに地域単位での雇用のミスマッチ

信頼感指数と同様な傾向を示しているととも

分析（Rothwell, 2012）や，米国カンファレンスに，１週間程度先行していることが示された。

ボードによる求人広告数からの求人広告指数

この関係性が安定的なものであれば，これま（HWOL）作成などが存在する。

で以上の頻度で指数を公表することが可能である（Piet and Puts, 2014）。

3.3 デバイス生成型の IoT データの検討状況

雇用統計に関しても商業取引データと同様に海に囲まれた我が国に対して内陸国では，隣検討が進んでいる。各国の既存の雇用統計では国間の人の往来が激しく，国境管理にコストが職種や必要スキル，勤務地情報，肩書き，職歴掛かっている。エストニア中央銀行では，国境などに関する情報量が少なく，企業が求めるに係る公的統計の活用に代えて，携帯電話の労働者のスキルニーズの変化を捉えることがSIMカード情報を活用することで旅行収支を推難しい。この問題を解決すべく，Eurostatや各計している（Hammer et al., 2017）。欧州各国の国統計局からなる欧州統計システムのESSnet

移民局では，ドイツとデンマークが亡命希望者

Big Dataプロジェクト等では，ウェブ求人情報の携帯電話からデータを抽出できるよう，2017の活用に取り組んでいる（Mandel and Scherer,

年に法を改正した。また，ベルギーとオースト

2015; Swier, 2016）。同じく，米国大統領経済リアでも同様の法案が提出されており，英国と諮問委員会では，職歴やスキル等を共有する

ノルウェーでは数年前から亡命希望者が所有すビジネスSNSであるLinkedInを利用する米国内るデバイスの調査がおこなわれている。

の５千万人以上の登録者情報をもとにして，詳環境に関するセンサー関連のデータも利活用

細な雇用の把握が可能であることを指摘してが進んでいる。ブラジルの水資源機関では，水いる（Bean, 2016 ; Council of Economic Advisors,

道ネットワーク上にある22,000ものセンサーか2012）。一方，失業に関しては，失業した人々

ら水流，降雨，水質等を把握し，公的統計に組による失業に関するSNSでの書き込みや，ネッ

み込んでいる。コロンビアでは，衛星画像デー

トでの職探しの検索履歴を利用して，失業率を

タを農業統計の作成に活用する試験的な取組が早期予測する研究がおこなわれている。ミシガ

始まっている。また，カナダでも，スマートン大学では，失業に関するツイートをもとにメーターで電力消費量を把握して既存統計に活作成した失業インデックス（The University of

用することを2014年から検討している。

Michigan Social Media Job Loss Index）を作成し，イタリア中央銀行のスタッフらはGoogleにおけ3.4 ソーシャルネットワーク情報の検討状況

る「jobs」の検索件数を調査した（Antenucci et

景気動向を捉える動きとしては，2016年にal., 2014; D’Amuri and Marcucci, 2012）。これら

ビッグデータ統計センターを設立し，ビッグは失業率と強い相関があるだけではなく，フィデータの公的統計活用の先駆者を目指していラデルフィア連銀が実施するエコノミスト予るオランダで，統計局はツイート内容のセン測（SPF）をアウトパフォームする結果を示す。

社会と調査

NO.22（2019 年 3 月）

40

特集

社会調査に携わる人のためのビッグデータ入門

高頻度に失業率を推定することで，自然災害や利用者の属性（AKB48アカウントのフォロ

政府閉鎖などの特定イベントに関わる影響分析

ワー＝AKB48ファン）を推計することが可が可能になる。

能である。そして，位置情報付きのSNSから

物価や家計に与える不動産価格の影響は大きは20代30代の昼間の移動や居住エリアが推定い。Auction.comは，新築レポートやGoogleでのできる。さらに，ウェアラブル活動量計から「Home appraisers in Irvine」等の検索件数など

は，各地の利用者の睡眠率について日中サイを活用して，不動産購入に関する公的統計を予クルが把握できる。居住エリアで睡眠を取る

測する不動産業界初のナウキャストReal Estateと仮定すると，これらのデータから特定の属

Nowcastを開発した（Auction.com, 2014）。また，性を持つ20代30代の流動人口が推定できる。図インドネシアやアルメニアの中央銀行は，不動

1は，秋葉原におけるAKB48ファンの流動人口

産仲介業者のオンライン情報を用いての住宅価を表す。AKB48ファンは平日の夕方に増加す

格調査に着手している。

る特徴を持っていることがわかる。このように公的統計では把握できないニッチな需要に

4

新たな公的統計の可能性

も，ビッグデータは応えることができる。例
えば，震災後にPTSD症状が発現した（＝地震

ビッグデータの利用により，既存の公的統計に関するストレス性の高い内容をSNSに投稿すが補足できないような現象の把握が可能になっる）人々の人口分布とその時間変化を観測すてきた。ここでは，新たな公的統計の可能性にることも可能であろう。

ついて紹介する。

5

先進国に比べて，新興国や途上国では公的統計の整備が遅れている。このような国の経済状

ビッグデータによる公的統計の課題

況（GDP）を把握するために，人工衛星から捉統計を作る目的で集められてはいないビッグ

えた夜間光量を利用する試みがおこなわれていデータを公的統計に活用する上での課題を示す。

る（Henderson, et al., 2012）。近年，負債を抱え

ビッグデータは玉石混交のデータであり，構築る国などでは，銀行が経営破綻するという噂やされる指数の信頼性の面からもノイズの除去は

不確実な情報，デマが引き金となり，預金者が必須である。例えば，イタリア中央銀行は，失預金・貯金・掛け金を取り戻そうとして金融機業率予測のための「jobs」の検索件数の利用に関に押し寄せる事例が発生している。こうしたおいて，「Steve Jobs」などを取り除いている

預金取り付け（bank run）を，Googleにおける（D’Amuri and Marcucci, 2012）。機械的に取「預金保険（deposit insurance）」等の検索件

り除く統一した手法を構築することが今後必要数から予測する取り組みを，ドイツ連銀がおこになってくる。民間各社では，データのコードなっている（Weber, et al. 2017）。我が国でも，体系を，その時々の自社のみのビジネスに最適

総務省が大手通信キャリアの携帯の位置情報化している。そのため，合併や業務提携後など

データを活用して，公的統計では把握できないでは関連会社間でデータの接続の不具合がしばテレワーク・デイの効果を検証した（総務省,

しば発生する。公的統計として，各社のビッグ2017）。

データを繋げるには，政府主導での共通コー

我々のプロジェクトでも，公的統計では把ドの普及が必要である。例えば，2015年から始握できない様々な属性の流動人口推計をおこまった法人番号は，表記揺れの多い企業の名寄

なっている 。SNSのフォロワー関係等からせに活躍している。公的統計では，過去と現在

1）

社会と調査

NO.22（2019 年 3 月）

41

図 1 秋葉原における 20 代 30 代の総人口と AKB48 ファンの人口との比較が可能であることを求められるためには統計発表に際して説明責任が果たせるように，膨大なデータの保持と同じ精度で継続的にになると考えられる。技術が過渡期である現在，実施することができるのかという問題を解決し精度向上，説明責任面からも，ビッグデータ分

なければならない（国土交通省都市局都市計画

析の公的統計活用に標準を合わせた人材育成が課都市計画調査室，2018）。そのためには，収必要である。彼らが，新しい公的統計を担って集されたビッグデータの情報管理体制の整備や，いくことであろう。

特定企業，業界の枠を超えた社会インフラ・【謝辞】

公共財としての価値観共有，情報提供者へのイ
ンセンティブ設計が必要である（NTTデータ

本稿は，総務省「ビッグデータ等の利活用推

経営研究所, 2015）。ビッグデータの分析の技進に関する産官学協議のための連携会議」，内

術革新は日進月歩で進んでおり，公的統計の閣府大臣官房「公的統計におけるビッグデータ

推計精度も日々向上している。推計精度が高いの活用に関する調査研究」で得た公開情報ながブラックボックスと言われる深層学習でさどに基づいて水野の私見で作成している。本

え，昨今は推計根拠の解釈可能性を上げる技術

稿の成果の一部は科学研究費補助金17H05123,（Guidotti et al., 2018）が生まれており，将来的

17KT0034, 16H02872の支援を受けている。

注

文献1) 水野貴之，
2017,「人流ビッグデータによる地球

Antenucci, D., Cafarella, M., Levenstein, M., Re.,
C & Shapiro, M. ,2014,“Using Social Media to, NBER Working
Measure Labor Market Flows ”
Paper, No. w20010.

規模の課題解決のための情報学と社会科学の融合基盤構築」JSTさきがけネットワーク’17 採択
課題。

社会と調査

NO.22（2019 年 3 月）

42

特集

Auction.com, 2014,“Auction.com Real Estate, FALL 2014 White Paper.
Nowcast ”

01/20150421001.html)（平成 30年 12月 21日閲覧）。
国土交通省都市局都市計画課都市計画調査室，
2018「，総合都市交通体系調査におけるビッグ(http://www.mlit.go.jp/
データ活用の手引き」
common/001241230.pdf)（平成 30 年 12 月 21 日
閲覧）。

Bean, C., 2016,“Independent Review of UK, Cabinet Office and HM
Economic Statistics ”
Treasury.
2018「
別所英実，
， 民間ビッグデータを統計として活用するためには，何が必要か：諸外国の取組事例の紹介と日本における課題の整理」『総務省統計委員会担当室ワークングペーパー』：

Mandel, M. and Scherer, J., 2015,“A Low-Costand Flexible Approach for Tracking Job andEconomic Activity Related to Innovative, Nesta Working Paper, 15/11.
Technologies ”

2018-WP01 (http://www.soumu.go.jp/main_content/000561917.pdf)（平成 30 年 12 月 21 日

NTTデータ経営研究所，
2015「， 公的統計におけ閲覧）。

るビッグデータの活用に関する調査研究」平成 26 年度内閣府大臣官房統計委員会担当室
請 負 調 査 . (http://www.soumu.go.jp/main_content/000422923.pdf)（平成 30 年 12 月 21 日
閲覧）。

Cajner,T, et al.,2018,“Using Payroll Processor
Microdata to Measure Aggregate Labor Market, Finance and Economics Discussion
Activity ”
Series, Washington: Board of Governors of theFederal Reserve System, 2018-005.

Piet, J.H. Daas and Marco J.H. Puts, 2014,“Social,
media sentiment and consumer confidence ”
ECB Statistics Paper Series, No. 5.

Cavallo, A. and Rigobon, R., 2016,“The Billion
Prices Project: Using Online Prices for, NBER Working
Measurement and Research ”
Paper, 22111.

R e i m s b a c h - K o u n a t z e , C . , 2 0 1 5 ,“ T h e
Proliferation of Big data and Implications for
Official Statistics and Statistical Agencies: A, OECD Digital Economy
Preliminary Analysis ”
Papers, No.245.

Council of Economic Advisors, 2012,“Economic, 187-188.
Report of the President ”
D ’Amuri, F. and Marcucci, J., 2012 ,“Thepredictive power of Google searches inf o r e c a s t i n g u n e m p l o y m e n t ”, Te m i d i
discussione (Economic working papers), Bankof Italy, Economic Research and International
Relations Area, No. 891.

Rothwell, J., 2012,“Education, Job Openings,,
and Unemployment in Metropolitan America ”
Brookings Institution.
2013「白木紀行，松村浩平，松本梓，，景気判断における検索データの利用可能性」日本銀行レポー
ト・調査論文。(https://www.boj.or.jp/research/
brp/ron_2013/ron130130a.htm/)（平成 30 年 12月 21 日閲覧）。

Farrell, D. and Greig, F., 2016 ,“Paychecks,, JP
paydays, and the online platform economy ”
Morgan Chase Institute.
Guidotti, R. et al., 2018,“A Survey of Methods
for Explaining Black Box Models ”, ACM
Computing Surveys, 51 (5): Article 93.

2017「
総務省，
，モバイルビッグデータを活用したテ
レワーク・デイの効果検証」(http://www.soumu.

go.jp/menu_news/s-news/01ryutsu02_02000185.
html)（平成 30 年 12 月 21 日閲覧）。

Hammer, C., et al., 2017,“Big Data: Potential,, IMF
Challenges, and Statistical Implications ”
Staff Discussion Note.

2018「
────，
，公的統計の整備に関する基本的な(http://www.soumu.go.jp/toukei_toukatsu/
計画」
index/seido/12.htm)（平成 30 年 12 月 21 日閲覧）。

Henderson, J. V., Storeygard, A. and Weil, D. N.,
2012 ,“Measuring Economic Growth from, American Economic Review, 102
Outer Space ”(2): 994-1028.

2014，
総務省情報通信国際戦略局情報通信経済室，「ビッグデータ時代における情報量の計測に係(http://www.soumu.go.jp/
る調査研究報告書」
johotsusintokei/linkdata/h26_05_houkoku.
pdf)（平成 30 年 12 月 21 日閲覧）。

http://www.cmdlab.
東大日次物価指数プロジェクト，co.jp/price_u-tokyo/（平成 30 年 12 月 21 日閲覧）。

Struijs, P., 2016,“Big Data for official statistics ”,
Basque Statistics Ofﬁce.

2015「経 済 産 業 省，
， 地 域 経 済 分 析システム(RESAS(リ ー サス ))の提 供 を開 始 しました 」(http://www.meti.go.jp/press/2015/04/201504210

社会と調査

社会調査に携わる人のためのビッグデータ入門

NO.22（2019 年 3 月）

43

Swier, N., 2016,“WP1 - Webscraping for Job, Eurostat Social Statistics
Vacancy Statistics ”
Conference 2016.

United Nations Economic and Social Council,
2014,“Big data and modernization of statistical, E/CN.3/2014/11.
systems ”

2018「
高田悠矢，別所英実，五十嵐盛仁，，労働市場の民間ビッグデータ :経済統計としての活用可能性」『総務省統計委員会担当室ワーキングペー
パー』：2018-WP02(http://www.soumu.go.jp/
main_content/000562980.pdf)（平成 30 年 12 月
21 日閲覧）。

Weber, P., Fecht, F. and Thum, S., 2017,“Capturing
d e p o s i t o r s ’e x p e c t a t i o n s w i t h G o o g l e, IFC Bulletin, Bank for International
data ”
Settlements, No.44.

社会と調査

NO.22（2019 年 3 月）

44

特集

特 集 論 文社会調査に携わる人のためのビッグデータ入門

ビッグデータ分析の実践にむけて榊 剛史
株式会社ホットリンク

開発本部 R&D 部 部長が数千くらいのオーダーまでは通常のデータ分

1

はじめに

析であり，それを超えて数万のオーダーになるとビッグデータであると考えている。もう少し「ビッグデータの時代」と言われ始めてから久大ざっぱに言えば，「Excelで扱えない規模のデー

しい。最近では，
バズワードとしては，「AI（人タ」をビッグデータと考えて頂ければわかりや工知能）」に取って代わられた感は強いが，学術

すいかも知れない。環境にもよるが，普段使う界・産業界問わず，
ビッグデータを活用するこPC で数十万行の CSV ファイルを Excel で開くとは単なる流行としての話題から，広く使われのが難しいのは，容易にご想像いただけるだろう。

るアプローチとして定着してきたと言っても過ビッグデータと同時期に出てきた概念として，言ではないだろう。 このようにビッグデータ分「オープンデータ」というものがある。行政に関析が普及した現在では，以前とは比較にならなするデータや研究に用いるデータを誰もが利用

いくらい容易にビッグデータの分析を可能にす可能な形で公開・提供することで，それらのデーるツール・環境が整いつつある。本特集ではこタの利活用により行政業務の効率化や科学技術

こまでビッグデータの概要と用途にふれてきたの進歩を促進させるコンセプトである。
「ビッグ

たが，
本論文では，
それらのツールを用いてビッデータ」という言葉が使われる際に，「オープン

グデータ分析を実践する方法について説明してデータ」の意味合いが含まれることも少なく無

いきたい。

いので，
そこは留意していただきたい。

PC とウェブブラウザのみでビッ
具体的には，

2

グデータ分析を実践する方法を紹介する。PCやプログラミング言語に詳しくない方でも極力

ビッグデータ分析の流れ

全体の流れ

わかりやすく書いたつもりだが，分かりにくい
点もあるかと思うので，そこはご容赦いただき

ここでは，まずビッグデータ分析の大まかなたい。

流れについて述べる。 ビッグデータ分析の流れ

ところで，ビッグデータ分析というが，どのくは大きく分けて下記の4段階（5段階）に分かれる。

0.（環境の構築）

らいの規模を超えるとビッグデータと呼ばれるのであろうか？このあたりは諸説あり，また個

データ分析ツールを利用できる環境を構築す

人個人によってもわかれるため，一概に定義す

る（一度構築してしまえば，二度目以降は不要

ることは難しい。ただ，著者の主観的な基準とな作業であるため，
括弧書きで記載している）。

しては，
だいたいサンプルサイズ（標本の大きさ）

社会と調査

NO.22（2019 年 3 月）

45

1. データの取得・収集

きやすいステップである。本記事では Python

自前での作成や企業からの提供，公開データの Jupyter Notebook を使うが，それ以外のツーの取得などにより必要とするデータを取得・収ルについても紹介する。

集する

・Python 関連

2. データの加工・前処理–Python：

次にツールで分析可能な状態にするために，

いわゆるスクリプト言語と呼ばれるプログラ

獲得したデータに加工や前処理を加える

ミング言語である。近年では，
機械学習，
とりわ

3. 分析

け深層学習の開発するためのプログラミング言
語としてはデファクトスタンダードとなっている。

実際にツールを用いてデータの分析を行う

4. 可視化

数値計算のためのライブラリも充実しており，
プ
ログラミングに慣れ親しんでいる人間が，統計分

分析を通じて得られた結果を大勢が理解可能

析・機械学習を行うには最初に選ぶべき選択肢

な形で可視化するであると言える。各自の環境にもよるが，かな
通常，
研究やビジネスにおける「分析」と呼ばり大規模なデータにも対応できる。ただし，分れるプロセスは３，４を指すことが多い。実際，

析環境の構築には，一定の知識が必要であり，
導読者の方にもそのようなイメージを持っておら入の障壁が高い。なおデータ分析に必須なライれる方が多いであろう。しかし，実際，
ビッグ

ブラリは下記の通りである。

データ分析においては，
１，
２に分析にかかる時

・NumPy : 数値計算用のライブラリ

間の50%，
多い場合では70% を占めることがある。

・SciPy : 科学計算用のライブラリ

Python で分析対象データ
わかりやすいように，・scikit-learn : 統計分析・機械学習用のライが読み込まれた状態から主成分分析を実行する

ブラリ

ためのサンプルコードを提示する。

・pandas : データ分析支援機能のライブラリ–Anaconda1）：

pca = PCA()

データ分析でよく使われる Python ライブラ

pca.fit(dataset)

リをまとめてインストールしてくれる Python

ご覧の通り，わずか2行である。このように，環境構築ツールである。自分の PC やサーバに

R や Python など，現在主流で使われているビッPython によるデータ分析環境を構築する際は，グデータ分析ツールにおいては，主要な統計分

Anaconda をインストールするのが一番簡便な2行で実行可能なもの
析や機械学習の手法は1，方法である。

がほとんどである。可視化も同様である。

–Jupyter Notebook：

そこで，今回では３，４のみならず，
０，
１，
２「ノートブック」と呼ばれる形式で，ウェブブも含めてデータ分析の手順を解説する。ただラウザ上で Python のコード（プログラム）を対し，１についてはアプローチがかなり多様であり，話的に実行できるツールである ）。Pythonでデー

本誌面では十分な説明するのが難しいため，代タ分析を行う場合，開発したプログラムを毎回最表的なアプローチと参考資料の紹介にとどめる。

初から最後まで実行する必要があるため，試行

2

錯誤を繰り返していくデータ分析とは相性が悪
2-0．環境の構築

Jupyter Notebook を使う事で，
いが，
この問題を

環境の構築は，慣れない人にとってはある意

解消することができる。可視化も容易に行うこ味一番時間を要するところであり，かつつまずとができる。ただし，メモリを大量に使用する

社会と調査

NO.22（2019 年 3 月）

46

特集

社会調査に携わる人のためのビッグデータ入門

ため，大規模なデータを扱うことは難しい。また，

後にそのコードを Jupyter Notebook を使わずに

Jupyter Notebook を実行する環境を構築する必Python で実行する，という手順である。こうす要がある。最も簡便な方法は前述の Anaconda

ることで，試行錯誤は対話的に行いつつ，最後にをインストールすることである。

分析をデータ全体に高速に適用することができ– クラウド Notebook 環境：る。 ただ，数十万～数百万レコード程度の分析

Jupyter Notebook を 実 行 で き る 環 境 を 提Jupyter Notebook のみで十分に分析であれば，供するクラウドサービス。本記事執筆現在で可能であると思われるため，本記事読者の方々

Google Colaboratory ） と Microsoft Azure
は，にはそちらをお勧めする。

3

4）

備考

Notebooks の２つが提供されている。環境構

環境構築には一定の知識が必要と述べたが，築が不要であり，すぐにデータ分析が始められる点が優れている。使用メモリやデータ保持期間，

Linux ベースの Mac ではウェブ等の記事を参考

連続使用時間に制限などがある。

にしながら比較的簡単に環境を構築すること

・R 関連

Windows では Python の実行ができる。一方，–R 言語：

環境をなかなか整備することが難しい。前述

統計解析のために開発されたプログラミング

Anaonda をインストーの通り，
一番確実なのは，言語である。Python よりも統計分析のアルゴリ

Python は Python2.
ルすることである。 また，

5）

ズムが充実しており ，また可視化に優れている

X と Python3.X で大きな違いがあるが，基本的のが特徴である。Windows/Mac/Linux 共に環には Python3.X の方を使っておく方が望ましい

境構築が容易であり，取っつきやすい言語であ（Python2.X 系の方にしか存在しないパッケーると言える。ただし，数千万ケースを超えるよジなどもあるが，主要な数値計算パッケージ

うな大規模データは扱うことが難しい場合もあである NumPy/SciPy が Python2.X への対応をる。

2020年に終了する）–Exploratory6）／ EZR7）：SPSS などの従来の統2-1. データの取得・収集

計分析ツールのように，マウスによるユーザイン

R を使ったデータ分析
ターフェースを通して，データ収集のステップでは，文字通り様々なを行うことができるツール。筆者は使ったこと

情報源からデータを収集する。例えば ウェブ

がないため，
概要の紹介にとどめるが，プログラ

上からデータをクロールする，企業からデータ

ミング言語に抵抗がある方でも，これらのツー全体の提供を受ける，などである。近年，研究にルを使うことで，従来の統計分析ツールと同様おけるデータセットの取得方法は大きく分けて，の簡易な操作でデータ分析を行うことができる。

下記の４つに分けられると考えられる。
・企業からのデータ提供

本稿では，環境の構築しやすさから，
ウェブブ

・公開データセットの取得

ラウザとクラウド Notebook 環境を用いて実践を・公開情報の自動収集行う。

・自身でのデータセットの構築

なお，著者がよく行う分析の流れは，以下

ただ，これらのアプローチについて詳細に説の通りである。まず，自前の環境に Jupyter

明をすると本記事では紙面が足りないため割愛

Notebook 環境を構築し，その上で分析対象の一する。ただし参考資料として東京大学鳥海准教

部を抽出した小規模データで試行錯誤して分授による資料「計算社会科学における Web マイ析の流れを決める。その流れをコード化し，最（鳥海 , 2018）を紹介しておく。ぜひこ
ニング」

社会と調査

NO.22（2019 年 3 月）

47

ちらの資料をご参照されたい（p.41以降がデールのデータのことである。ただしほとんどのタ取得に関する話である）。

ツールでは CSV(Comma Separated Values) やまた研究に活用可能なデータセットが公開さTSV(Tab Separated Values) のファイル形式でれているウェブサイトを下記に紹介する。

データを読み込みに対応しているので，まずは8）・情報学研究データリポジトリ

手元のデータをこれらの形式に変換する必要が

国立情報学研究所が研究用に提供しているデーある。企業からデータ提供を受ける場合やオー

タセット。民間企業が提供するデータが多いの

プンデータサイトからデータをダウンロードすが特徴。

る場合など，
データ保有者から直接データを手9）・Stanford Network Analysis Projectに入れる場合は，Excel/CSV/TSV などの形式

Stanford 大学の社会ネットワーク分析研究室にでデータを得られることが多い。一方で，ウェよるデータセット。社会ネットワークのデータ

ブ上からのデータの自動収集など，公開データだけでなく，様々なウェブに関するデータが公を収集する場合はその限りではない。また，見開されている。

落としがちな点であるが，日本語文字を扱う場

10）

・Kaggle合，文字コードを UTF-8に変換する必要がある

最も著名なデータ分析コンペサービスによるデー

ことに注意されたい。

タセット。

b. 欠損値／重複ケース／異常値／カテゴリカ
ルデータの扱い・数値変換について

11）

・SIGNATE

ビッグデータの場合，分析の目的のために集様 々 な デ ー タ 分 析 コンペ を 開 催 し て い る

SIGNATE 社によるデータセット。

められたデータを使う場合よりも，別の目的で

12）・ICWSM Dataset Sharing Service

収集されたデータを分析者が使いたい目的に利ソーシャルメディアに関する国際会議 ICWSM

用する場合が多い。このような場合往々にして，により公開されている学術研究用データセット。

データが欠けていたり，余分なデータや異常なデータが含まれていたりする場合がある。その

2-2．データの加工・前処理ため必要なデータを補完したり，不要なデータを除去してやる必要がある。

データの加工・前処理のステップでは分析ツールにデータをインポートする前にそれに適・欠損値への対応した形にデータを整形するプロセスのことである。

欠損値がある場合は，データや分析目的による

このステップは大きく3つに分けることができが，欠損値を全体の平均値，前後の値の平均値でるが すべてを適用する必要はなく，手元にある補完する，
そのままサンプル自体を除去する，なデータの状況にあわせて取捨選択していただき

どの対応が考えられる。例えば，ある企業の株たい。

価や気温のような時系列データが1日だけ欠損

・読み込み可能なデータ形式への加工・変換していれば，欠けた時間帯の前後の平均値で補・欠損値／重複ケース／異常値／カテゴリカルデー

完することが望ましい。また，数十万アイテムに対する購買データで値が欠損しているものでタの扱い・数値変換について・ノイズとシグナルの分離あれば，そのケースは除去（無視）してしまって

a. 読み込み可能なデータ形式への変換も問題がないと考えられる。
・重複ケースへの対応

多くのデータビッグデータ分析ツールは，表形式でデータを読み込むこととなっている。表

あきらかに同じであると分かるケースが2つ以形式のデータとは分かりやすく言えばエクセ上ある場合は，それを除去するのが一般的な対社会と調査

NO.22（2019 年 3 月）

48

特集

社会調査に携わる人のためのビッグデータ入門

2-3．分析

応である。
・異常値への対応最初に言及した通り，
本記事はある程度，
統計

異常値についても，欠損値と同様の対応が考え分析の知識を持つ方を対象としているため，分られる。明らかな異常値であれば無視すれば良析自体については多くを割かない。基本的にいし，無視することが難しい順序性があるデー

は，
ビッグデータ分析においても用いる手法は，

タ（時系列データ等）であれば，前後の値の平均

これまでの統計分析手法と大きくは変わらない。

値で補完することが望ましい。

ただし，あまり計算量が大きい手法は現実的な・変数のダミー化

時間で終わらないことがあるため，注意が必要

多様な機械学習手法を適用するためには，数値である。実際には，まず小規模データで分析方ではないデータ（主に文字列データやカテゴリ

法の策定と分析時間の測定を行い，策定した分

カルデータ）は，数字に変換して扱う必要がある。

析手法が速度的に大規模データに適用できるか

具体的には数字ではないデータを「0」と「1」だを検証することが望ましい。

けの変数に変換する「ダミー化」を行うのが一
2-4．可視化

般的である。例えば曜日データであれば，「月
曜日を1，その他の曜日を0とした変数」「火曜日

ビッグデータ解析において，可視化は重要な

7を1，その他の曜日を0とした変数」のように，プロセスである。なぜなら，データの規模が大種類のダミー変数を作成する必要がある。

きすぎるため，人間が全てのデータを確認する

・数値変換ことが困難だからである。だからこそ，データ

回帰分析や主成分分析において，各変数の係数が持つ特徴や分析の結果を，わかりやすい形でを比較する場合には比較可能なように数値を変可視化することが求められる。 幸い，
データの換する場合がある。代表的な変換方法としては，性質によってどのような可視化を用いるべきか

標準化 (standardization)，正規化 (normalization)

をまとめている人が多くいるため，それらの知または最大最小スケーリング (min-max scaling)

見を参照されたい。
「可視化 チートシート」「dataなどがあげられる

visualization cheat sheet」などのキーワードでウェc. ノイズとシグナルの分離

ブ検索することをお薦めする。また，Ｒ -Studio

前述のように，ビッグデータの場合，分析の目が公開している可視化に関する文書に，目的別的のために集められたデータを使う場合よりも，の可視化方法がよくまとまっている（R-Studio ,別の目的で収集されたデータを分析者が使いた

2018）
。

い目的に利用する場合が多い。そのため，分析

3に必要なシグナル以外に様々なノイズが含まれてしまうことが多い。例えば，筆者の所属する

実データによるビッグデータ分析の実践

会社ではソーシャルメディアデータ（Twitter/ ブ

本節では，前節で紹介したビッグデータ分析

ログ）を扱っているが，これらを用いて社会の動の流れに基づいて，実際にビッグデータ分析を

向を分析したい場合，機械で生成されたスパム実践する。本節，
特に３－１．以降では，
教材ノー

投稿はノイズとして除去する必要がある。

トブックを傍らに見ながらお読み頂くことを想このようにビッグデータ分析においては，必定している。また教材ノートブックのコードは要に応じてシグナルとノイズを分離し，
シグナル上から順番に実行して頂くことを想定しているのみを選択的に抽出してやる必要がある。

（途中から実行するとうまく動作しない可能性
がある）
。

社会と調査

NO.22（2019 年 3 月）49

3-0．環境構築と準備〈Windows の場合〉

a. 利用するデータと分析

https://pythondatascience.plavox.info/

2章で紹介した SIGNATE のサイトか
今回は，python の開発環境 /jupyter-notebook を使っ

ら，学習用として公開されているデータセット

てみよう。

「
【練習問題】国勢調査からの収入予測」を利用〈Mac の場合〉する。データ規模が1万6千サンプルと大きすぎ

https://qiita.com/heimaru1231/items/

ないサイズであること，他のデータと比べて社

b71aa638e71a535cd790

会調査寄りの内容であることが選定した理由でc. 教材の利用方法ある。
（https://signate.jp/competitions/107）
今回は，本データを用いて，「18歳～65歳の就

教 材 の 利 用 方 法 に つ い て 説 明 す る。 な業者において，収入に影響を与えている項目を

Google Colaboratory は Chrome も し く は
お，

明らかにする」ことを目的とした分析を行う。

Firefox でしか開けないことにご留意頂きたい。
教 材 ノ ー トブ ッ ク の ペ ー ジ：https://bit.ly/

b. 環境構築の方法

asr22_2019

Google Colaboratory を利用する
本記事では，

・Google Colaboratory を利用する場合

方法と自身の PC に Jupyter Notebook 環境を構

─ウェブブラウザで教材ノートブックにアク築する手法を紹介する。

セスする・Google Colaboratory─図2のように「Playground で開く」をクリックする

Google Colaboratory を利用する手順は下記の通り。Google アカウントが無くても利用する

Google アカウントと連携することはできるが，方が便利である。

1. 下記のリンクにアクセスする

https://colab.research.google.com/
2. 図1のように「Python3の新しいノートブッ
ク」をクリックする・Anaconda と JupyterNotebook
自分の PC に Jupyter Notebook の環境を構築

図 1 Google Colaboratory の起動

Anaconda をインストールするのが，するには，
簡単かつ確実である。Windows/Mac/Linux 用のインストーラーが公式サイトにて提供されている。インストール方法は公式ウェブサイトをご確認頂きたい ）。ただし，すでに Python を導
13

Python が競合し，うまく起動入している場合，しない場合が多い。また Jupyter Notebook を起動するには，
一定の PC 知識が必要である。詳しくは下記のページを参照されたい。
図 2 教材ノートブックへのアクセス

社会と調査

NO.22（2019 年 3 月）

50

特集

─教材ノートブックが実行可能になる

社会調査に携わる人のためのビッグデータ入門

図4に Google Colaboratory の画面の簡単な説
明を示す。

Google アカウントがある場合は，図3のように「Google Drive に保存」を選択すると，

3-1．データの取得・収集

自分でノートブックを編集することができる。

前述したように，今回は公開されているデー

・ローカル PC の Jupyter Notebook を利用する

タセットを用いるため，取得・収集に特別な手場合train.tsv と間は不要である。下記 URL から，

─ ウェブブラウザで教材ノートブックにアクtest.tsv をダウンロードすればよい。なお，
デー

セスする

タセットのダウンロードには SIGNATE へのユー

─ 教材ノートブックのメニューから「.ipynb

test.tsv
ザ登録（無料）が必要となる。また今回，をダウンロード」をクリックしてノートブッ

は複数ファイルアップロードの例を示すための

クをダウンロードするみに用い，分析には用いない。

─ ローカル PC の Jupyter Notebook でダウン

https://signate.jp/competitions/107/data

ロードしたノートブックを開く・注意点─前述のとおり，教材ノートブックのコードは上から順番に実行して頂くことを想定している（途中から実行するとうまく動作しない可能性がある）。
─ Google Colaboratory には下記のような時間的制限がある。時間的制限を超えた場合，変数の値などがリセットされるため，最初からコードを実行する必要がある
・新しいノートブックを起動してから12時間
・ノートブックのセッションが切れて ）
14

から90分
図 3 教材ノートブックのダウンロード【用語と基本操作】
・ノートブック

Jupyter Notebook でのプログラムファイル。
****.ipynb という名前で表記される。な
お Google Colaboratory と 通 常 の Jupyter

Notebook ではデザインが異なる（機能はほぼ同じである）・セル
コード（プログラム）やメモを記述する単位。
ブラウザで表示されているノートブックの実行ボタンをクリックすると，
今選択されているセルのコードが実行される。

図4

社会と調査

Google Colaboratory 画面の説明

NO.22（2019 年 3 月）

51

3-2．データの加工・前処理

各行が一つのケース，各列が一つの変数を表す

読み込み可能なデータ形式への加工・変換

表形式のデータである。いわゆる Excel の表「3-1．データの取得・収集」の手順と同様に，と同等のものと考えて頂いて差し支えない。

特別な手間は不要である。ただし，
ノートブッ

Python の場合，通常，表形式のデータ（リスト）

クへのファイルの読み込みがわかりにくいため，は全ての列は同じ種類の変数（整数なら整数のみ，

下記で説明する。

文字列なら文字列のみ）でなければならないが，・Google Colaboratory の場合

データフレームは，各列ごとに異なる変数の種
類をとることができる。

下記のコードを実行すると，
教材ノートブッ

なお，
教材では，データの概要を表示する方法

クの説明にあるようにファイルをアップロードするボタンが表示される。ここからを紹介している。

ファイルを選択して，アップロードすれば良重複ケースの除去い。手間を避けるため，
複数のファイルを選次に重複する行がある場合には，それをデー

択し，アップロードすることが望ましい。まタから除去する。 教材ノートブックのコードを

Google Drive から読み込む方法もある。
た，

実行すれば，各列ごとに重複するケースがあるかどうかを表示できる。今回のデータについては，・ローカル PC の場合
下記のコードのように，ローカルPC 内のファ

重複ケースは存在しないため，重複ケースの除イルの場所を設定すれば，ファイルを読み込

去は行わない。

むことができる。

欠損値の対応
次に欠損値への対応を行う。欠損値への代表

from google.colab import files

的な対処方法は下記の通り。

list_files=files.upload()・リストワイズ法：欠損ケースを除去

traindata = pd.read_table("train.tsv")

・ペアワイズ法：相関係数など2変数を用いて計

testdata = pd.read_table("test.tsv")

算を行う際に，対象の変数が 欠損している場合に計算対象から除外

pd.read_table を実行することで，TSV ファイ
Python 上にデータが「データフレーム」とルが，・平均値代入法：欠損を持つ変数の平均値を補完呼ばれる形式で読み込まれる。データフレー

・回帰代入法：欠損を持つ変数の値を回帰式をムについて詳細な説明は省くが，図５のようにもとに補完

図 5 データフレームについて

社会と調査

NO.22（2019 年 3 月）

52

特集

社会調査に携わる人のためのビッグデータ入門

小規模なデータであれば，統計的な有意性をにおける各説明変数の係数を比較するため，数担保するために，
サンプルサイズは減らさないよ

値変数の変換を行う。 ここでは，各変数が -1か

うに平均値代入法や回帰代入法で欠損値を補完

ら1の範囲に収まるように最大最小スケーリン

することが望ましい。

グ法を適用する。
分析と可視化しかし，
ビッグデータのように，欠損値がある

ここまでで分析の準備が完了である。 今回は，ケースの数に対して全体のサンプルサイズが十分に大きければ，
リストワイズ法を採用してしまう

二つの分析と一つの可視化を行う。 被説明変のが，一番簡便かつ妥当である。つまり，欠損値数と説明変数について，「ロジスティック回帰」「ロがあるケースは無視してしまう，ということである。

ジスティック曲線の可視化」「データの特徴を俯瞰するための可視化」を行う。

教材ではリストワイズ法を採用している（たロジスティック回帰

だし，結果的に欠損値がないデータであったため，

今回のデータでは，年収に関する変数は，年収

ケースは削除されていない）。
ノイズとシグナルの分離

が $50,000より高いか否かの二値で表現されて次にノイズとシグナルの分離を行う。 ビックいる。そこで，二値分類の予測問題で良く用いデータ分析の場合，分析の目的から考えて，明られるロジスティック回帰を用いて，目的変数 Y

らかに対象外となる変数やケースをノイズとし（年収が $50,000を超えていると1, $50,000以下て除去する。逆に対象となることが明らかな情だと0）についての 予測モデルを構築した後，各報，対象となるかが不明確な情報は除去しない。

説明変数の係数を比較することで，年収に影響

今回の分析の目的は，「18歳～65歳の就業者を与える変数を明らかにする。 ロジスティック

において，収入に影響を与える要素を明らかに

回帰は線形回帰族の一つの手法であるため，係する」ことが目的であるため，教材は「age」が数を直接比較できることが特徴の一つとなる。

18～65の範囲にあるサンプルのみを抽出している。

学習した予測モデルの各係数上位10件は図6の

数値変換

通り。

分析手順にあるように，構築した予測モデル

各変数の係数を比較すると，「capital-gain」

図 6 予測モデルの係数上位 10 件

社会と調査

NO.22（2019 年 3 月）

53

「hours-per-week」「capital-loss」「age」「education-

相関行列および散布図から，数値型の説明

num」が，
目的変数に対して相対的に大きな正の変数同士にはほとんど相関が無いことがわか影響を及ぼしていることがわかる。また，「sex_

る。 またヒストグラムと散布図から，「hours-per-Female」「education_9th」「marital-status_Never-

week」
「age」
「education-num」は，年収の二値分married」が目的変数に対して相対的に大きな負類には，全体的になだらかな相関性があることの影響を及ぼしていることがわかる。（「race_が推測される。一方，「capital-loss「」capital-gain」

Other」「relationship_Other-relative」は「その他」

については，少数サンプルの影響により係数がにあたる項目のため，
ここでは省略する）

大きくなっていることが推測される。

ロジスティック曲線の可視化

4次に，得られた予測モデルから，
正の影響を及
ぼしていた5つの変数「capital-gain」「hours-per-

おわりに

week」
「capital-loss」「age」「education-num」を合

本稿では，実行可能な教材を用いて，ウェブブ成した変数を用いて，ロジスティック曲線を可ラウザ環境によるビッグデータ分析の流れにつ視化する。結果は図7のようになる。境界付近

いて説明した。ごく簡単な事例ではあったが，では，うまく分類できていないサンプルもあるが，皆様の想像以上に簡単にビッグデータ分析を実

Y=0,1について，大まかにはうまく分類できて行できることをご理解頂けたのではないかと思いることがわかる。

う。幸い，
当該分野については，書籍もさること

データの性質を俯瞰するための可視化ながらウェブ上にも大量の解説記事が掲載され付加的ではあるが，データの性質を俯瞰するており，また MOOC（大規模オンライン講義）なために，
データセットの数値変数について，図8，ども充実している。そのため，きっかけと時間9のように相関行列の表示およびヒストグラム・

さえあれば個人でもビッグデータ分析の学習を

散布図の混合グラフの可視化を行った。 各ケー

進めることができる。本記事が，そのようなきっスの色は，「薄い色の●」
が年収 $50,000以下，「濃かけの一助となれば幸いである。

い色の＋」が年収 $50,000超を表している。

図 7 ロジスティック曲線の可視化

社会と調査

NO.22（2019 年 3 月）

54

特集

社会調査に携わる人のためのビッグデータ入門

図 8 各変数間の相関行列

図 9 各変数間の混合グラフ

注1）https://www.python.jp/install/anaconda/index.
html8）https://www.nii.ac.jp/dsc/idr/index.html
9）http://snap.stanford.edu/data/index.html

2）以前は iPython Notebook と呼ばれていた。

10）https://www.kaggle.com/datasets

3）https://colab.research.google.com/

11）https://signate.jp/competitions4）https://notebooks.azure.com/

12）https://www.icwsm.org/2018/datasets/datasets/

5）2018年11月現在。

13）https://www.anaconda.com/

6）https://ja.exploratory.io14）ブラウザを閉じたり，
インターネット接続が切7）http://www.jichi.ac.jp/saitama-sct/SaitamaHP.
ﬁles/statmed.html

れた場合に，
セッションが切れる。

文献

R-Studio, 2018 ,“Data Visualization with
ggplot2 Cheat Sheet. ”(https://www.rstudio.
com/wp-content/uploads/2015/04/ggplot2cheatsheet.pdf)

社会と調査

2018「
鳥海不二夫，，計算社会科学における Webマ
(https://www.slideshare.net/toritorix/
イニング」
web-100905271)

NO.22（2019 年 3 月）

55