Big Dataにどう取り組むか
京都大学名誉教授

PROFILE長尾真

１９９７～２００３年京都大学総長、２００７～２０１２年国立国会図書館長、２００５年日本国際賞、レジォンドヌール勲章、２００８年文化功労者

1 Big Data の時代

うまく利用して新しいビジネスを創造し成功するといっ以前から、スーパーマーケットなどで出口のキャッな結果を出すということは必ずしも簡単なことではな

シュレジスタの手前にガムや剃刀の刃などを置いておく

く、巨大な記憶装置、超高速の処理機構、そして強力なと、買い物の直接の目的ではないが買ってゆく人がかな

解析のための種々のソフトウエアを開発しなければならりいるとか、ある品物の隣にそれに付随して買うであろないことなどから、多くの企業が関心を示しながらも、う品物を置いておくとかいった配列の工夫がいろいろとどうしたらよいか分からないといった状況があって、こ為されていた。こういったことは店舗の売り上げのデーれに突破口を開けようという動きが米国を中心として出タを分析することによって得られていたノウハウであてきたことによるのではないだろうか。事実、米国ではる。また各店舗の売り上げの品物を比較することによっオバマ大統領がその重要性を認め、新しい創造につながて、どの地域ではどのようなものがよく売れるかというるものとして、２億ドルをその研究開発に投入することことも分かってきて、各店舗に置く品物の種類を区別すを決定した。

た事例が出てきたこと、それにもかかわらず、こういった各種の巨大データを記憶し、実時間的に解析して有用ることも当然のこととして行われてきている。
近年はインターネットを通じた販売が行われるようになり、商品に対する利用者の意見、特に商品の使いずらさ、故障に対する苦情、その他種々の意見がどんどんと50

2 科学技術分野におけるBig Data寄せられるようになってきた。年に何百万台と販売する

Big Data の持つ力、有用性は企業の分野に限られな自動車産業の場合などでは、そういった顧客の意見を徹い。科学技術分野においてもそういった事例はすでにい底的に分析することによって製品の改良に繋いで行ったろいろと出てきている。たとえば医療分野では、個々のり、新製品の開発のためのヒントをそこから得るという患者の病状はすべて異なっていて、教科書に書いてあることが行われている。

ような形でこの症状に対してはこう処置すればよいといそれが最近になってにわかに注目を浴び、Big Dataうわけにはゆかない。そこで最近は類似の体質の類似のの分析が大切だと叫ばれだしたのはなぜだろうか。その病状の患者にどう治療したらどういう結果になったかと理由は必ずしも明確ではないが、一つにはあらゆることいったカルテを集めて分析し、そこからより安心できるがデジタルで記録されるようになったにもかかわらず、治療法を見つけてゆくという努力がなされている。以前

これらの巨大なデータは多く捨てられるか、放置されては経験豊かな医者が持っていたノウハウを巨大な患者のいて、積極的に利用されていなかったこと、それに対しカルテ情報から抽出し、これを参考にしてベテランと同てグーグルやアマゾンなど世界の最先端の企業がこれをじように治療ができるようにするという考え方である。

YEAR BOOK 2012

最近ますます重要性を高めてきている。機械翻訳は最初めに、研究費の申請時に研究データ管理計画書をださせ、文法規則を頼りにして文を解析する方法がとられていた

そこには情報図書館学の素養を持った人を当てることをが、言語の文法は文の構造についてのかなり荒い近似的奨励するようになってきている。

特別寄稿て生じるデータを保存し他でも利用できるようにするた

寄稿集

私が研究してきた機械翻訳の分野でも Big Data がな説明の枠組みであって、それでうまく説明のできる言語の部分は非常に少ない。それに気が付いて１９８２年にアナロジーに基づく機械翻訳という考え方を提唱した。後にこれは例文翻訳、あるいは用例翻訳方式と呼ばれ、広く用いられるようになってきている。

3 Big Data からの知識の抽出
このように巨大なデータ群には目に見えぬ貴重な情報

この方式ではまず句を単位とした対訳辞書を作り、こや知識が潜んでいることが最近になって認識されるようの辞書を頼りに与えられた表現の各句を翻訳し、翻訳さになってきたが、そこには大きな技術的課題が存在するれたそれらの句をうまくつなぎ合わせることで訳文を作ことが分かってきて、これを克服するにはどうしたらよるという方式である。いろんな表現に対処するためにはいかに関心が集まり、ここに「Big Data 研究」という対訳辞書に入れるべき句の数は何十万、何百万となるだ課題が急速に浮かび上がってきた。

ろう。これは巨大な量の対訳文章を分析することによっその第一の課題は毎日テラバイト単位で増加するて作り上げるのである。今日では数十億文という数の文

データをどのように記憶すれば後の処理に好都合であるがコンピュータに記憶され分析され、対訳辞書の増強、かという課題である。大企業や大きな研究機関でなけれ改良がおこなわれる時代になってきており、対訳文章のばこれらのデータを独自に保存することが困難なため、量が多ければ多いほど翻訳の品質が良くなるわけであクラウドに任せるという道が開かれてきた。もう一つのる。

課題はこの巨大なデータをどのように分析すればどのよ一方では統計的機械翻訳という新しい概念も出てきてうなことが分かって来るかという問題とともに、その処いる。これは巨大な量の対訳文章を統計的に処理するこ理のための理論とそれを実現するソフトウエアもよく整とによって与えられた表現の翻訳に利用しようとするも備されていないという問題である。特にこの第二の課題

ので、文法という概念にとらわれずにまったく機械的にには種々のアプローチや方法が考えられるが、今後の大翻訳を行おうとするものである。これも巨大なデータのきな研究開発分野となっているといってよい。

存在と処理ができる時代なればこその方法といえるだろう。

第一の課題で特に大きな問題は、収集の対象となるデータには各種センサーなどから得られる数値データの科学技術分野では計測技術の高度化、精密化に伴ってほかに、文字・テキストデータ、画像・映像データ、音観測されるデータ量が爆発的に増えている。こういった声・音楽等の音のデータ、３次元ビジュアルデータなどことがあらゆる分野で起きているので、これをどのよう種々のものがあり、これらは常に時系列的に時々刻々とに保存し、利用するかが大きな問題である。同様のこと増えてゆく。またこれらのデータの中には、例えば音とは科学技術分野だけでなく、社会科学分野などにおいて映像のように、異なるデータ間に存在する時間的な同期も起こりつつある。

を捉えておかなければならないものがある。そこでこれ

今日科学技術分野の研究は国の主導のレベルで大規模らの様々なデータを統合的にうまく処理するために、そな研究が行われるようになってきており、その研究過程

れぞれのメディアやデータの種類によってある種の標準で作り出される各種の研究データは他の研究者が観たと形式を作れないかという問題も出てくる。

きにまったく想像もしなかった形で利用される可能性があるということで、米国の NSF や NIH では、研究によっこれらの巨大データからの情報や知識の抽出には大きく分けて３つの場合が考えられる。

YEAR BOOK 2O1251

（１）巨大な量のデータから特異なデータを検出するこ（ⅴ）回帰分析と：これが情報となる。

（ⅵ）言語解析、意味検索等の自然言語処理

たとえば装置の異常を検出したり、ネット上の Blog（ⅶ）その他や Twitter の中からそれまでになかったような異常なこれらすべての手法においてこれから研究開発すべき内容の文章や発言、警告などを発見する場合がこれにあことは多い。いずれの場合もデータが刻々と増えてゆくたり、貴重な情報となる。

中でより良い結論が得られるようにするためには学習の（２）巨大な量のデータに内在する共通の性質を発見す機能を導入することが必須である。

ること：これが知識となる。

膨大な量のデータを取り扱うためには効率の良い分散

たとえばスーパーでの売り上げを分析することにファイルシステムを設計しなければならないし、分散処

よって、春にはどの年齢層がどのような商品を買うかと理ができるよう処理のアルゴリズムに工夫をしなければいったことを知る。東日本大震災の直後、多くの車が被ならない。また相関計算や回帰分析においては膨大な次災地に入ったが、これらの車の GPS データを分析する

元数を対象にして実時間的に分析をしなければならない

ことによって、この道は主要道路なのに車が通っていなといった難しさがある。

いからその道路が破壊されているに違いないといったこ社会における Big Data の多くは文字データであるのとが推定できたという。

で、言語解析をし、重要な単語や概念を抽出し、また意（３）異なった複数分野の巨大な量のデータ群相互間に味的な検索をするといったことが必要となるので、自然ある種の因果関係を発見すること：これが新しい知識、言語処理の各種技術が非常に重要となる。これからのグ法則の発見となり、また新しい学問分野を作り出してローバル社会の時代においては国内のデータだけを対象ゆく。にするのでなく、世界のいろんなところで発生するデー

たとえば天候と病気の相関から、湿度の高いときはあタを取り込み、分析の対象としなければならない。したる種の病気が出やすいといった経験的知識が得られる。

がって多くの言語を対象とした機械翻訳システムの開発

こういった病気にまつわる経験則はいろいろと存在するが急務となる。特に急速に発展してきている中国の科学が、膨大な異種データ間の相関を調べることによってそ技術情報、学術全般の情報、さらには中国の中を飛び交の因果関係がより信頼のおけるものとなってゆく。またうネット上の Twitter 情報などの分析のために中日機異なる巨大データの因果関係の分析によって新しい経験械翻訳システムが大切となる。ところが中国語の解析は的な法則が発見され、医学的にその妥当性が検証される

世界の主要言語の中では最も困難なものであり、この課可能性もある。これからの健康科学の一つの新しい分野題の解決のためには国として相当な努力を傾注する必要といってよいだろう。

があろう。
筆者は２０１１年の Japio Year Book に「東日本大震

4 Big Data 解析の手法災アーカイブの構築」という小論を寄稿した。そこではBig Data の解析をする手法としては次のようなもの

らそれらの間に存在するであろう相互関係を明らかにすがすでに存在する。

接、間接に受けている関連データ等を集め種々の観点かることの重要性を述べた。それをさらに学術一般に広げ( ⅰ ) クラスタリングと決定木て、学術分野の「知識インフラ」を構築することの努（ⅱ）データマイニング力の重要性についても述べたが、こういったことも Big（ⅲ）テキストマイニング

Data の一つの活動とみることができるだろう。

（ⅳ）相関分析

52

あらゆる種類の震災に関するデータや震災の影響を直YEAR BOOK 2012

寄稿集

5 終わりに特別寄稿

特許情報とそれぞれの特許に関連した研究論文は今日Big Data を形成している。このデータの利用を考える
とき、単に必要な特許情報の検索だけに留めず、種々の手法で分析することによって、どのような新しい技術が創造されつつあるか、どの国のどの企業がどのような分野、課題に力を入れているかといったことが分かってくる。
こういった分析は各企業がそれぞれの立場と観点から行うことであるが、国としてもどのような分野を積極的に育成してゆくべきかを検討する際に、特許関連データの分析を欠くことができないだろう。これまでも Japio
においては技術動向調査を含み各種の統計的分析などを行ってきているが、これからは世界各国の特許関連データについて特許文章の内容分析を含んだもっと詳細かつ高精度の分析を行う必要があろう。発展途上国における特許や技術の詳細などの情報は個々の企業で収集することは難しいから、Japio などがこれを行い、分析をし、有用な情報を提供することも大切であろう。Japio がこういったことに力を入れてゆくことを期待したい。

YEAR BOOK 2O1253