特集「ビッグデータの活用」

ビッグデータ活用の未来
The future of big data utilization

京都大学名誉教授

長尾真

１９９７～２００３年京都大学総長、２００７～２０１２年国立国会図書館長、２００５年日本国際賞、レジォンドヌール勲章、２００８年文化功労者

1. はじめにることができる。ただ技術的には、今日テキストマイニ
ングの時代からそれほど発展しているとは言い難い。

巨大なデータの解析に興味が持たれたのは 1980 年
代の後半から 1990 年代にかけてだった。当時は主として情報科学研究者を中心にデータマインニングという

8

2. 仮説検定的性格を越えて名称で巨大なデータから有用な情報を抽出する研究が行

たとえば食べ物と健康との間に関係があるのではなわれた。特にテキストを対象とするときはテキストマイいかと考えるときは、それに関係する大量のデータを集ニングと呼ばれたし、その中でもウエッブページを対象めて分析することによって相互関係性が統計的に推定さとしたものはウエッブマイニングと言われていた。そしれ、その因果関係が学問的に追求される。こういったこてデータ解析のための多くの手法が開発された。例えばとは、二つのデータ群の間にある種の因果関係があるの統計的手法を用いた良く現れる相関パターンの検出、クではないかという疑問、つまり仮説を立てて、その関係ラスター解析、回帰分析などの手法が使われていた。しがあるかどうかをデータから検証するという形である。

かしこういった解析の有用性は自然科学分野や情報科

こういった立場の分析はビッグデータ時代といわれる前学、知識工学などのごく一部の専門家に興味をもたれるからいろいろと行われていた。これからは一つのデータだけで一般社会には良く知られていなかった。

群の解析だけでなく、異なった複数のデータ群の相関解

21 世紀に入って、取り扱われるデータのサイズがそ析をすることがますます必要になってゆく。例えば降雨れまでと比べて格段に大きくなるにつれて、ビジネスに量の季節変化とある特定の農作物の収穫量の関係、そのおける巨大データの分析が企業にとって有用であること

地域的変化、土質との関係などは異種のデータ群の相互が認識されはじめ、ビッグデータの解析専門の企業が現関係の典型的なものであろう。

れ、これがビジネス分野として認識されるようになって、ビッグデータの解析を分類すれば、大きく共時的解

ビッグデータという名称が広く一般社会に普及したと見析と通時的解析となるだろう。共時的とはある時期に限体的に一つとみて解析する場合と地域的分布や職業別なが基本であろうが、例えば苦情などを言ってきた人の感ど、種々の特性を配慮した解析となる。通時的とは何年、情がどのようなものか、どこまで激高しているか、ある何十年にわたる経年変化を見るという立場である。この

いはどの程度の深刻さかといった顧客の感情という観点場合に特に注意しなければならないのは長期にわたってからのデータは取られているか、あるいは既に保存され同じ条件でデータが取られているか、また社会変動やているデータから言語分析することによってそういった3.11 のような大事件との関係はどうかといったことに情報を取り出すことができるかといったことも大切であ配慮が必要となる。

る。

ビッグデータの分析の最も面白く挑戦的なことは、関ある種の解析をし、問題解決をしようとすれば、既存係性のありそうなデータ群を仮説検定的に解析するのでのデータだけではできず、新しいデータを入手することなく、仮説のない世界で新しい因果関係を発見することが必要ということは多い。それがたまたま他で作られてではないだろうか。一見して何の関係もないと思われるいて、しかもそれが公開されている場合は有難いが、ほ幾つかのデータ群をたまたま相互相関解析してみたら、とんどの場合そうでない。したがって新しい種類のデーある種の因果関係が見つかったといったこと、いわば「風タを集めたり、データの精度を一桁二桁上げた計測をしが吹けば桶屋がもうかる」という類の発見こそがビッグなければならなくなる場合が多い。そのための計測機器データ解析の醍醐味であろう。何らかの仮定を置いて解の開発を伴うこともあり大変である。国は各種各様の析することは既にある方向に世界を限定して分析するこデータを持っているが、それらすべてはどのようなものとであって、発見されることはいろいろあっても、それでどこにあり、どのようなフォーマットで保存されていは想定内の期待していたことである。これに対してなんるかということさえ十分に公開されていないが、こうらの仮定を置かずいろんなデータの関連性を調べてみる

いった国の持つ各種データが自由に利用できる環境を整ことによる発見こそ創造的で面白く、また有効性が高く、備すればビッグデータ解析が一層進み、国力に反映されイノベーションに繋がってゆくものである。そのためにてゆくから、国は情報公開によりオープンデータ政策には膨大な計算量を仮定しなければならないだろうが、こ積極的になってもらいたいものである。

れから挑戦してみるべきことと思われる。

ビッグデータの活用

これらのデータは種々の観点から分類して利用すること特集定したデータを解析することであり、これはデータを全国際的に市場を展開している企業などでは世界の地域別の言い方をすれば次のようなことであろう。人は頭ごとの顧客の特徴を把握しておく必要があるから、そのが良いので、ある種の結論を想像し、それに向けた推論

国の言葉の特徴を知り、感情分析もする必要が出て来るや解析をする傾向があるが、コンピュータの場合には一ので、言語の機械翻訳のほかに種々の言語処理について

切の先入観を排して客観的に収集した大量のデータを解も先進的な技術を開発しなければならない。

析するから、意外な事実を明るみに出す可能性があるわ

いじめ問題やテロなど事件性のある情報がネットに現けで、この特徴を生かした解析を心がけるべきなのであれた時に素早くキャッチして対処することはこれからまる。ただこのような仮説なしの解析処理で目の覚めるよすます重要となる。これはビッグデータの中から特異的うな結論が得られる確率は非常に低いという覚悟を持っな情報や、それまでに現れていなかった情報を検出するてする必要がある。という技術であり、いわばロングテイルの極端な先に存在するものを調べるといったことに通じる。こういった

3.データは膨大でも肝心のデータ群が欠けていることはないかことは非常に困難であるが、今後ますます重要になってゆくだろう。
このようにビッグデータのテキスト解析は単なる字づ企業のコールセンター、顧客サービスセンターなどにら処理でなく、これからはコンテンツ解析、意味解析に来る質問や苦情、要求などのデータはどの企業でも保存向かわざるを得ないが、これを巨大データに対して実時し解析し、サービスの向上や製品の改良に繋いでいる。

間的に行うには巨大な計算能力が要求される。

YEAR BOOK 2O159

特集 「ビッグデータの活用」
4.ビッグデータの解析結果は適切な形で表示して人の理解を促進することが大切であるる種の結果を得たとしよう。しかしもう一つ別のデータ群を加えて解析をし直したら、先に得られた結論が否定される結果が出て来ることがありうる。例えば毎朝起床したときに冷たい水をコップ一杯飲むと健康に良いといテキストを解析して得られた結果は文章で表示するこ

うことがデータから得られたとしよう。しかしこれに胃とが多いかもしれないが、場合によっては表にして出す、腸の強い人か弱い人かというデータを付け加えたら、胃あるいは日本地図、世界地図の上にプロットして示すと腸の強い人には正しくても、弱い人には却って良くないいったこともあるだろう。数値データの場合にはグラフという結果が出る可能性がある。したがってデータ群に表示がありうるし、パラメータの軸を設けてグラフを 2

よって結論が違ってくる可能性を考えておく必要性があ次元、3 次元表示にするなどの工夫もありうる。時間軸る。

によってゆっくりと変化させる動的表示も考えられる。

さらに厄介なのは、キャッシャーで行列を作っている

このように表示の仕方の工夫をすることによって、見る間にふと手を出して買うとか、買う予定になかった商品

人は結果を概念的によりよく把握できるし、俯瞰的に見を見るとこれは家ではもう切れていたから買っておこう

ることによって結果にある種の不十分さ、疑問などを感といった人間の心理的な行動をどのように推定するかとじてより深い検討をするようになるキーを得る事にもないうことも重要であり、こういった人間の行動傾向はどるだろう。人間の一覧性の力に頼ることが大切である。

うすれば把握できるかも考えねばならないだろう。単純解析した結果を人に強制するのでなく、理解させる努力なビッグデータの解析からは出てこないことである。

が必要であり、なぜそのような結論になったかという理由も提示できるよう工夫することが大切である。

5.ビッグデータ解析の結果はどこまで信用できるかいろんなことを調べようとする場合、より精度の高いより大量のデータがあるに越したことはない。自然科学

スーパーでおにぎりを買った人でキャッシャーのそばの観測では観測の精度を上げるとともに時間的にも、分、に置いてあるチューインガムを買う人が多いという相関秒というように間隔をどんどんと狭くしていっている。

が発見されたから、おにぎりのそばにチューインガムを人工衛星からの地球表面の観測も数メートルの精度から置くのが良いといった戦略が言われたことがあった。し数十センチまで精度を上げつつある。社会のデータにおかしおにぎり以外の商品では相関が低かったかどうかをいても同様な方向にある。

チェックして言っているのかどうか、またキャッシャー

データ量は今後とも増える一方であり、これを保存しで列を作って待っているときの手持無沙汰のためについいつでも自由に取り出して解析に使うためには、巨大なチューインガムを買ってしまうというのが本当であっ記憶システムを必要とする。グーグルはネット上のすべて、相関が高く出るからと言ってそれをうのみにするのての情報を常時収集保持しているが、そのための記憶シは危険であるということもあろう。

ステムの維持のために発電所を付けねばならないところ

だからビッグデータの解析結果はいろんな立場から吟まで来ているという。十年先を考えた時、記憶システム味することが必要である。ビッグデータが収集された時とそれを動かし続ける電力のことを考えると、これまでの条件は何だったか、それに関係する他のデータは取っのようにどんなデータでも無差別に集めればよいというていなかったか、といったことをチェックし、測定され考え方でやってゆけるのかどうか、という問題が出て来たパラメータ以外の、データの置かれている環境条件にる。データ解析から得られる結果が有用で費用対効果がついても十分配慮する必要がある。

高いということには今でも疑問であるが、これが続いて関係のありそうなデータ群の相関的な解析をしてあ10

6.データ量の問題が深刻化してくることにどう対処するかゆくのだろうかという心配がある。グーグルのように半特集

ば独占的な地位を確立している場合にはメリットはあるだろうが、ビッグデータ解析はあらゆるところで行われ、ビッグデータの活用企業間競争の激しい中での費用対効果について検討し、他の手法、他の道を見つける方向に転換してゆかざるを得なくなる企業も出てくるかもしれない。
何年か先にはビッグデータ解析はいわば日常的なこととして行われているほかに、ビッグデータから特定の個人や特定の事件、案件に関する情報を抽出しトレースしたりすることも行われるようになるだろうが、プライバシー問題や微妙な問題を誘起しかねないので注意が必要である。科学技術分野は別として、企業などではビッグデータ解析がいつまでも宝の山という訳にはゆかない時代になっているかもしれない。

YEAR BOOK 2O1511