ビッグデータ
2012年3月に、ホワイトハウスは6連邦政府省庁および政府機関で構成される「ビッグデータイニシアティブ」を発表した。2億ドル以上の予算が付与された。
これにはカリフォルニア大学バークレー校 AMPLabへの、全米科学財団「計算機科学の探検」研究費、5年間 $1千万ドルが含まれる。AMPLabは加えてDARPAと10以上の産業界からの資金提供を受け、交通の混雑の予測、がん対策のような広範囲の課題に挑戦する。
このイニシアティブにはまた、エネルギー省のローレンス・バークレー国立研究所が率いるスケーラブル・データ管理・分析・可視化(SDAV)研究所への5年間 $25百万ドルの資金提供も含まれる。SDAV研究所は、科学者が省のスーパーコンピュータ上のデータを管理、可視化するための新しいツールの開発を目指す。このために6国立研究所と7大学の専門知識を結集することを目指している。
実証科学の性質による根本的な限界があるので、ビッグデータパラダイムは実証科学によるものなので、ビッグデータにも実証科学と同様の限界がある。
2012年4月のハーバードビジネスレビューの記事によると、ビッグデータはどんなにわかりやすく分析されたとしても、大きな決断(ビッグディシジョン)によって補完されなければならないとされた。同時に、ビッグデータの解析結果は「過去に知られたものか、良くても現在のもの」にしかならないと指摘された。過去の経験が多数入力されれば、過去と同じ事象を予想する可能性がある。
要するに、想像力を使わずにビッグデータだけで論理的な推論を行うことは、革命的な視点を生み出すことはできない。パラダイムから独立して科学的に真偽を決定することは不可能である。オットー・ノイラートは科学を、外海に再建しなければいけないボートと比較している。
データの統計的処理では科学的であったが、なぜ錯覚が生まれるかというメカニズムの解明では、仮説を立て実験データとの照合を論じてはいたものの、その仮説自体はやはり思弁に過ぎなかった。脳科学の進歩によって急速に、認識論と存在論の2つの世界は大きく浸食されつつある。脳細胞をシミュレートする深層学習技術は、10年前の人間の想像を超えているということである。機械学習とディープラーニングを使用したビッグデータは、10年前の限界を超えている。
2004年、GoogleはMapReduceと呼ばれるビッグデータ処理技術の論文を発表した。これはデータ処理を分割し、複数のコンピュータで並列に実行するものである。この分割と並列処理のステップを「マップ(Map)」と呼ぶ。各コンピュータの処理結果は最終的に一つに集められ、解析者に配信される。これを「リデュース(Reduce)」と呼ぶ。この技術は成功を収めたので、そのアルゴリズムを再現しようとした者もいた。実際にMapReduceはHadoopという名前で、Apacheのオープンソースプロジェクトに採択された。
2011年マッキンゼーレポートによると、以下の技術が必要と示唆された。 A/Bテスト、 相関ルールの学習、 統計分類、 データ・クラスタリング、 クラウドソーシング、 データ融合と統合、 アンサンブル学習、 遺伝的アルゴリズム、 機械学習、 自然言語処理、 ニューラルネットワーク、 パターン認識 、 異常検出、 予測モデリング、 回帰分析、 感情分析、 信号処理、 教師あり学習と教師なし学習、 シミュレーション、 時系列解析、 可視化である。多次元ビッグデータはテンソルとして表現でき、これは多線部分空間学習のようなテンソル・ベース計算にて効率的に処理できる。
さらに関連技術には、超並列処理(MPP)データベース、 検索ベースのアプリケーション、データマイニンググリッド、分散ファイルシステム、分散データベース、クラウドコンピューティングとインターネットがある。一部のMPPリレーショナルデータベースは、ペタバイトを格納および管理する能力を持っている。加えて、暗黙的にRDBMSをロード、監視、バックアップする能力も必要となる。
著者らは、2010年に45の異なる国でインターネットユーザーによるGoogleのクエリのログを調べ、前年の検索のボリューム(2009年)と来年(2011年)の検索のボリュームを比較し、「将来期待指数」と呼んでいる。著者らは、それぞれの国の1人当たりGDPと将来期待指数を比較し、将来についてより検索が多いGoogleユーザは高いGDPを持つ傾向があることを発見した。
NASA気候シミュレーションセンター(NCCS)は32ペタバイトの気象観測、シミュレーションデータをDiscoverスーパーコンピューティングクラスタ上に格納している。
Tobias Preisと共同研究者のHelen Susannah Moat、ユージン・スタンレーは、Google Trendsにより提供される検索ボリュームデータに基づく取引戦略を用いて、インターネット上の株価の動きを予測する方法を紹介した。金融に関連した98の用語のGoogle検索ボリュームの分析はScientific Reportsに掲載され、金融に関連した検索語は、金融市場の大きな損失より前に出ていることを示した。