Ⅱ

ユニバーサルコミュニケーション基盤技術

大量の情報を蓄え研究を支える情報基盤技術／岩爪 道昭

大量の情報を蓄え研究を支える情報基盤技術－ビッグデータ時代のI/O指向ハイパフォーマンスコンピューティング－

岩爪 道昭（いわづめ みちあき）

ユニバーサルコミュニケーション研究所
統括

奈良先端科学技術大学院大学修了後、日本学術振興会特別研究員、近畿大学理工学部助手、理化学研究所脳科学総合研究センター研究員を経て、2005 年 NICT 入所。内閣府（総合科学技術会議事務局）出向等を経て、2011 年より現職。知識ベースシステム、Web 情報処理、オントロジー工学などの研究に従事。博士（工学）。趣味は、ジャズギター、ルアーフィッシング、キャンピング、アウトドアスポーツ全般。
最近は、１歳半の娘と戯れることと、メタボ解消に始めたランニングに夢中。現在の目標は、フルマラソン完走。

「ユニバーサルコミュニケーションの実現に向けて、40 億ページ以上の	Web アーカイブ をはじめとする大量の情報を収集、蓄積可能な大規模情報基盤の研究開発について紹介します。
」

新型データセンターを背景に、研究所長命で編成された企画室共通基盤チームのメンバーとともに。
左から、原口弘志専門研究員、田中康司有期技術員、岩爪道昭統括、泥谷誠専門研究員、岩瀬高博特別研究員、藤井秀明専門研究員

152

たどるだけの極めて単純なものですが、ネット上

Ⅰ−１
光ネットワーク技術

背景にはスパムページや重複サイト等が多数存在します。また、ほとんど更新されない情報もあれば、ングスと呼ばれるネットワークに接続されたセニュースのように頻繁に更新されるものもありま

ンサー、自動車等あらゆるモノから非定型かつす。一方でネットワーク環境や取得先の Web サイ

大量のデータがリアルタイムに生成されるようトに過度な負荷をかけないよう十二分な配慮も不になってきました。このようなデータは、短期間可欠です。
当研究所では、第 2 期中期計画（平成 18 ～タ量に達することもあり「ビッグデータ」と呼ば22 年度）において開発された情報分析システれています。ビッグデータの集積、有効活用は、

ム WISDOM の情報基盤として、Web クロー2012 年 1 月のダボス会議 においても、議題

ラを開発、運用してきました。同クローラでは、に取り上げられるなど、ICT 分野にとどまらず、1 日に最 大 約 1,000 万ページの Web 文 書をグローバルな新しいビジネスサービスやイノベー収 集することが でき、約 10 億ページの Webションのフロンティアとして経済界においても期文書を集積しています。第 3 期中期計画では、待と関心が高まっています。

研究所 全体の研究開発資源として活用可能な＊1

では、ユニバーサルコミュニケーションの実現に向けて、質の高い情報を効率的に収集するため向けて、多言語音声技術や高度な意味処理に基のクローラ制御の高度化、計算機やネットワーづく情報分析技術等の基盤技術の研究開発に取ク環 境に応じて柔軟にスケールする非同期 的り組んでいます。これらの技術では、大規模なテな並列分散収 集 機能の実現を目指しています

キストデータを収集し、大規模なコーパス や（図 1）。

＊2

Ⅰ−４


40 億ページ以上の Web アーカイブの構築に新世代ネットワーク基盤構成技術／テストベッド技術

NICT ユニバーサルコミュニケーション研究所

Ⅰ−３
ネットワークセキュリティ技術に数億～数百億エントリー、ペタバイト級のデー

Ⅰ−２
ワイヤレスネットワーク技術

近年、ライフログ、インターネット・オブ・シⅡ

各種の言語資源 を整備することが不可欠です。
＊3

ユニバーサルコミュニケーション基盤技術

私は、インターネット上の大量の情報を効率よく集め、蓄え、用途に応じて高速に取り出すための情報基盤技術の研究開発に取り組んでいます。具
体的には、（1）超高性能クローリ

Ⅲ 未来ング技術、（2）大規模分散データストア技術、（3）大規模計算機基盤構築・管理技術の実証的な研基盤技術

IC
T究開発を行っています。

Ⅳ 電磁波センシング基盤技術

超高性能クローリング技術
Web クローラは、ネットワーク上の情報を自動的に収集するソフトウェアの一種です。その実行原理は、Web 文 書 のリンクを順次

図1

並列分散クローリング環境

௶ၡฆఒɈ჎ᅰɬȾȩɥॸ࢞ଞȹȻ

153

Ⅱ

ユニバーサルコミュニケーション基盤技術

大量の情報を蓄え研究を支える情報基盤技術／岩爪 道昭

大 規模 分 散データストア技 術

によっては、データを全てメモリ上に格納すること（分散キー・バリュー・ストア技術）

で、毎秒数万～数十万件のデータストリームにも対応可能な超高速なインメモリデータベース＊5 も数億～数百億エントリー、ペタバイト級のデー実現可能です。

タ量に及ぶ大量かつ非定型なデータを研究開発

現在、私は、分散 kvs のオープンソース・ソフやイノベーションのために戦略的に活用するためトウェアの 1 つである okuyama の開発者、岩には、超高速に蓄え、必要に応じて取り出す仕組

瀬高博氏
（（株）
神戸デジタル・ラボ）と共同で、ビッみが不可欠になります。しかし、従来の関係デー

グデータ時代に対応した大規模データストア技

タベースシステム（以下、RDBMS）
は、このような術とそれに基づく大規模 Web アーカイブ構築

用途には必ずしも適しておらず、仮に実現しようとの研究プロジェクトに取り組んでいます。

するとハード、ソフトともに高いコストが伴います。
そこで、
近年 NoSQL と呼ばれる新しいデータベー

大 規模計算機基盤構築・管理技術～ I/O 指向ハイス技術が注目されています。NoSQL は、RDBMS

パフォーマンスコンピューティングのように関係モデルに基づく固定的なデータ構
造ではなく、データや計算機資源の増加に応じ近年、コンピュータのコモディティ化＊6 が急速てスケールアウト＊4 しやすいシンプルなデータ構に進んでおり低価格かつハイスペックな計算機造とシステムアーキテクチャを採用しています。

資源を利用できるようになってきました。では、NoSQL は、そのデータ構造や検索方式によって多数の CPU や大容量のメモリ、ストレージを搭

ドキュメント指向型、カラム指向型、キー・バリュー載した計算機をただ沢山並べれば首尾よく問題型などのタイプがありますが、私の研究では、非は解決するのでしょうか。

定型なネット上の収集、蓄積により適した、分散問題はそれほど単純ではありません。スパコン

キー・バリュー・ストア（以下、分散 kvs）を採用しています。分散 kvs は、データを格納する「データノード」、多重化されたデータノードを管理するとともに、分散kvs へアクセスするインタフェースを提 供 する
「マスターノード」、アプリケーションから分散 kvs にアクセスするための「クライアント」
から構 成されます（図 2）。
これによりデータや計算機資 源の増加に応じた柔軟なデータノードの追加や自動障害復旧が可能となるほか、取扱うデータのサイズ

154

図2

分散キー・バリュー・ストア概要光ネットワーク技術

Ⅰ−１に代表されるハイパフォー
マンスコンピューティングの 分 野では、浮 動 小数 点演算をいかに高速に実 行するかということに主眼がワイヤレスネットワーク技術

Ⅰ−２置かれていました。しかし、ビッグデータ時代の到来によって、その様相は一変し、いかに大量のデータを取り扱えるかということが重要になっています。

ネットワークセキュリティ技術

Ⅰ−３

例えば、前述の情報分析システム WISDOM では、1つの Web 情報はたかだか

図3

大規模計算機基盤構築・管理技術

100 キロバイト程度の小さで取り扱います。この際に、最も問題になるのは、れらの実証的研究開発を通じて、ビッグデータ演算速度ではなく、ストレージ上に存在する大量の時代の新しいコンピューティング分野を開拓し、データへの書き込み / 読み出し（I/O）の速度です。

ユニバーサルコミュニケーション及び新世代ネッ

特にハードディスクは、どんなに最新の高性能のもトワークの実現に貢献していきたいと考えていのでも、メモリと比較すると10-5～ 10-6の速度ます。

Ⅰ−４

立つ情報のハブの実現を目指します。また、こ

新世代ネットワーク基盤構成技術／
テストベッド技術

いものですが、これを数億～数十億件のオーダーⅡ
ユニバーサルコミュニケーション基盤技術になるため、データ I/O の遅延（レイテンシー）がボトルネックとなり、情報システム全体のスループットが上がりません。
膨大なデータを効率よく活用するには、計算機用語解説
ダボス会議

ドウェア構成はもちろん、分散ファイルシステム、毎年 1月末にスイスのダボスで開催される「世界経済フォーラム」の年次総会。世界中の知識人、経済・企業のトップ、政治家、学者、ジャーナリスト等が一堂に会し、世界が直面する重大な問題について議論する。

分散処理フレームワークなどのミドルウェアも一

＊2

コーパス

＊3

言語資源

＊4

スケールアウト＊5

インメモリデータベース＊6

コモディティ化

I/O のレイテンシーを極力最小化するためのハー大規模な計算機基盤を少人数・少コストで運用するための管理技術も非常に重要です（図 3）。

今後ますます重要性が増していくアジアに関する情報を 40 億ページ規模で集積化し、当研究所内外の研究開発及び成果の社会還元に役I
CT

自然言語処理を研究する際に利用する辞書などの資源のこと。
サーバの数を増やすことで、サーバ群全体の処理能力を向上させること。

Ⅳ 電磁波センシング基盤技術

今後の展望

日本語や英語などの自然言語の文書を大量に集めた言語データのこと。

基盤技術体となったシステム構築技術が不可欠です。また

Ⅲ 未来＊1の持つポテンシャルを最大限に引き出すために、データストレージを主にメインメモリ上で行うデータベース管理システムのこと。

商品がメーカー、機能、品質等において差や違いがはっきりしなくなること。

௶ၡฆఒɈ჎ᅰɬȾȩɥॸ࢞ଞȹȻ

155