データブリックス
Databricksは、Apache Sparkの生みの親であるマテイ・ザハリアと共に、アリ・ゴディシが2013年に設立した企業である 。
AI/機械学習をはじめとするビッグデータを扱うためのクラウド型の統合データ分析基盤である「レイクハウス・プラットフォーム」を提供しており、データエンジニアリング、データサイエンス/機械学習、データ分析の領域に強みがある。
2022年に上場予定と言われているユニコーン企業であり、2021年8月に発表したシリーズHの資金調達後の市場価値は約4兆円となっている。。2021年12月現在、世界で7,000社を超える企業に利用されており、テクノロジー販売パートナーは約450社となっている。
2021年ガートナー「マジッククアドラント」において、データサイエンスおよび機械学習プラットフォーム部門のリーダーとして評価されている。また、2021年9月、ガートナー社のTechnology Hype Cycleのチャートには、「レイクハウス」が、Innovation Triggerのカテゴリーに分類された。
Apache SparkやDelta Lake、MLflow、Redashといった自社ソフト(もしくは創業メンバーが過去に開発したソフト)を組み合わせ、大規模なデータエンジニアリングとコラボレーション型データサイエンスのためのクラウドプラットフォームを開発しており、開発したソフトウェアの多くをオープンソース化し、オープンソースコミュニティとして維持していることもDatabricksの特徴。
日本法人はデータブリックス・ジャパン株式会社。
Apache Sparkは、ビッグデータと機械学習のための非常に高速なオープンソースのクラスタコンピューティングフレームワークである。Sparkのインタフェースを使うと、暗黙のデータ並列性と耐故障性を備えたクラスタ全体をプログラミングできる。Scala, Java, Python, R用のハイレベルなAPIや、データ分析用の一般的なコンピュテーショングラフをサポートする最適化エンジンを提供する。SQLやDataFrames向けのSpark SQL, 機械学習向けのMLlib, グラフ処理向けのGraphX, ストリーミング処理向けの Structured Streamingも提供する。