コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。課題.ビッグデータは、大部分の関係データベース管理システムやデータ分析ソフトでは処理が困難である。そのため、「数十台、数百台、ときには数千台ものサーバ上で動く大規模並列化ソフトウェア」が必要になる。大企業にとっての課題には、組織全体にまたがるビッグデータの主導権を誰が握るかということもある。何を「ビッグデータ」と考えるのかを明確にするのも企業毎の課題となる。これはデータを管理する組織の能力と分析アプリケーションの能力に依存するためである。数百ギガバイトのデータに直面して始めてデータ管理の選択肢について再検討を始めた組織もある。また数十、数百テラバイトのデータになって初めて真剣に検討が必要になった組織もある。成長と今後の展開.ビッグデータアプリケーションは、ビジネス、特にキャプチャして保存する大量のデータから利益を得るためにデータ製品とサービスを構築することを志向するビジネスにとって、ますます競争力のあるソースになりつつある。ビッグデータアプリケーションのメリットを享受する企業が増えるにつれて、企業にとってデータの活用がますます重要になることを示す兆候がある。定義.データの収集、取捨選択、管理及び処理に関して、一般的なソフトウェアの能力を超えたサイズのデータ集合と定義される。、数十テラバイトから数ペタバイトの範囲である。NoSQLのような新たなビッグデータ技術の普及により、その数値上の定義は変わっていくと考えられる。例.巨大科学.途上国の開発.市場性.ストレージコストの継続的な低下、データマイニングおよびビジネスインテリジェンス(BI)ツールの成熟、組織に大量の備蓄を引き起こした政府の規制や裁判など、多くの要因が「ビッグデータ」とビジネスネットワークの統合に貢献している。解析・処理技術.インフラストラクチャー.ソフトウエア.相関ルールの学習、統計分類、データ・クラスタリング、クラウドソーシング、データ融合と統合、アンサンブル学習、遺伝的アルゴリズム、機械学習、