コンピュータの性能に上限があるように、我々が取り扱えるデータ量の大きさにも上限がある。、現実的な時間内に処理することが可能なデータサイズの上限は、エクサバイトのオーダーとされる。換言すると、我々は事実上これ以上のデータは扱えないという制限を抱えていると言える。
課題.
ビッグデータは、大部分の関係データベース管理システムやデータ分析ソフトでは処理が困難である。そのため、「数十台、数百台、ときには数千台ものサーバ上で動く大規模並列化ソフトウェア」が必要になる。
大企業にとっての課題には、組織全体にまたがるビッグデータの主導権を誰が握るかということもある。何を「ビッグデータ」と考えるのかを明確にするのも企業毎の課題となる。これはデータを管理する組織の能力と分析アプリケーションの能力に依存するためである。数百ギガバイトのデータに直面して始めてデータ管理の選択肢について再検討を始めた組織もある。また数十、数百テラバイトのデータになって初めて真剣に検討が必要になった組織もある。
成長と今後の展開.
ビッグデータアプリケーションは、ビジネス、特にキャプチャして保存する大量のデータから利益を得るためにデータ製品とサービスを構築することを志向するビジネスにとって、ますます競争力のあるソースになりつつある。ビッグデータアプリケーションのメリットを享受する企業が増えるにつれて、企業にとってデータの活用がますます重要になることを示す兆候がある。
定義.
データの収集、取捨選択、管理及び処理に関して、一般的なソフトウェアの能力を超えたサイズのデータ集合と定義される。、数十テラバイトから数ペタバイトの範囲である。NoSQLのような新たなビッグデータ技術の普及により、その数値上の定義は変わっていくと考えられる。
例.
巨大科学.
途上国の開発.
市場性.
ストレージコストの継続的な低下、データマイニングおよびビジネスインテリジェンス（BI）ツールの成熟、組織に大量の備蓄を引き起こした政府の規制や裁判など、多くの要因が「ビッグデータ」とビジネスネットワークの統合に貢献している。
解析・処理技術.
インフラストラクチャー.
ソフトウエア.
相関ルールの学習、
統計分類、
データ・クラスタリング、
クラウドソーシング、
データ融合と統合、
アンサンブル学習、
遺伝的アルゴリズム、
機械学習、