데이터브릭스

데이터브릭스(Databricks)는 2013년 아파치 스파크의 원조 제작자들이 설립한 글로벌 데이터, 애널리틱스, 인공지능 (AI) 회사이다. 이 회사는 기업이 생성형 인공지능 및 기타 기계 학습 모델을 포함한 데이터와 AI를 구축, 확장 및 관리하는 데 도움이 되는 클라우드 기반 플랫폼을 제공한다.

데이터브릭스는 데이터 웨어하우스와 데이터 레이크의 기능을 결합한 데이터 및 AI 플랫폼인 데이터 레이크하우스를 개척하여 조직이 기존 비즈니스 애널리틱스 및 AI 워크로드에 정형 및 비정형 데이터를 모두 관리하고 사용할 수 있도록 한다. 이 회사는 유사하게 델타 레이크를 개발했는데, 이는 기계 학습 및 기타 데이터 과학 활용 사례를 위해 데이터 레이크에 안정성을 제공하는 오픈 소스 프로젝트이다.

 역사 
 2013-2021 
데이터브릭스는 캘리포니아 대학교 버클리의 AMPLab 프로젝트에서 성장했으며, 이 프로젝트는 스칼라 위에 구축된 오픈 소스 분산 컴퓨팅 프레임워크인 아파치 스파크를 만드는 데 관여했다. 이 회사는 알리 고드시, Andy Konwinski, Arsalan Tavakoli-Shiraji, 이온 스토이카, 마테이 자하리아, Patrick Wendell, 그리고 레이놀드 신이 설립했다.

2017년 11월, 이 회사는 마이크로소프트 애저 통합을 통해 마이크로소프트 애저에서 퍼스트 파티 서비스로 발표되었다.

2021년 2월, 데이터브릭스는 구글 클라우드와 함께 구글 쿠버네티스 엔진 및 구글의 빅쿼리 플랫폼과의 통합을 제공했다. 당시 이 회사는 5,000개 이상의 조직이 자사 제품을 사용하고 있다고 밝혔다.

포춘은 2021년 데이터브릭스를 "밀레니얼을 위한 최고의 대기업 직장" 중 하나로 선정했다.

 2022년~현재 
2023년 11월, 데이터브릭스는 레이크하우스의 통합 이점과 MosaicML의 생성형 AI 기술을 결합하여 고객이 자체 독점 데이터를 더 잘 이해하고 사용할 수 있도록 하는 새로운 제품인 데이터브릭스 데이터 인텔리전스 플랫폼을 공개했다.

이 회사는 2024년 12월에 620억 달러의 가치로 평가되었으며, 이는 역사상 가장 큰 금액의 투자 유치이자 AI 투자 중 단일 최대 규모에 해당한다.

2025년 3월 초, 데이터브릭스는 샌프란시스코 시내에 10억 달러를 투자할 것이라고 발표했다.

데이터브릭스는 2025년 3월 앤트로픽과 파트너십을 맺었으며, 앤트로픽의 AI 제품은 데이터브릭스 데이터 인텔리전스 플랫폼에 탑재될 예정이다. 이 계약은 5년 동안 1억 달러 규모로 체결되었다. 알리 고드시는 데이터브릭스의 CEO로 남아 있다.

2025년 기업가치 1,340억 달러로 시리즈 L 투자 유치 진행 중이다.

 인수 
2020년 6월, 데이터브릭스는 데이터 시각화 및 대화형 대시보드 구축을 위한 오픈 소스 도구인 Redash를 인수했다. 2021년에는 코딩 없이 데이터 탐색이 가능한 제품인 bamboolib을 보유한 독일의 노코드 회사 8080 Labs를 인수했다. 2023년 5월, 데이터브릭스는 데이터 보안 그룹 Okera를 인수하여 데이터브릭스의 데이터 거버넌스 기능을 확장했다. 6월에는 오픈 소스 생성형 AI 스타트업 MosaicML을 14억 달러에 인수했다. 10월에는 데이터 복제 스타트업 Arcion을 1억 달러에 인수했다. 여섯 번째 인수라고 추정되는 이번 인수를 통해 데이터브릭스는 오픈 소스 AI에 사용되는 데이터 관리 시스템인 Tabular를 10억 달러 이상에 인수했다.

2023년 3월, 오픈AI의 챗GPT 인기에 힘입어 개발자들이 챗봇을 만들 수 있는 돌리라는 이름의 오픈 소스 언어 모델을 출시했다. 돌리는 챗GPT와 유사한 결과를 내는 데 더 적은 파라미터를 사용했지만, 데이터브릭스는 자사 봇이 실제로 챗GPT의 성능과 일치하는지 보여주는 공식적인 벤치마크 테스트를 공개하지 않았다.

데이터브릭스는 2023 회계연도에 16억 달러의 매출을 기록하여 이전 수준의 두 배 이상을 달성했다.

2025년 데이터브릭스는 서버리스 데이터베이스 스타트업 Neon을 약 10억 달러에 인수했다.

 자금 조달 
2013년 9월, 데이터브릭스는 앤드리슨 호로위츠로부터 1,390만 달러를 모금했다고 발표했으며, 구글의 맵리듀스 시스템에 대한 대안을 제시하는 것을 목표로 한다고 밝혔다. 2019년 마이크로소프트는 이 회사의 시리즈 E에 미지정 금액으로 참여하여 데이터브릭스의 투자자로 주목받았다. 이 회사는 19억 달러의 자금을 유치했으며, 여기에는 2021년 2월 프랭클린 템플턴이 주도한 280억 달러의 기업 가치로 평가된 10억 달러 규모의 시리즈 G 투자가 포함된다. 다른 투자자로는 아마존 웹 서비스, 알파벳의 성장형 투자 회사인 CapitalG 및 Salesforce Ventures가 있다. 2021년 8월, 데이터브릭스는 16억 달러를 유치하여 기업 가치를 380억 달러로 평가받으며 여덟 번째 투자 라운드를 마쳤다.
2024년 12월, 데이터브릭스는 620억 달러의 기업 가치로 100억 달러의 자금 조달을 발표했다.

 제품 
데이터브릭스는 "레이크하우스(lakehouse)"라는 마케팅 용어를 사용하여 클라우드 데이터 플랫폼을 개발하고 판매하는데, 이 용어는 "데이터 웨어하우스"와 "데이터 레이크"의 합성어이다. 데이터브릭스의 레이크하우스는 기존의 데이터베이스 스키마 없이 반정형 데이터에 대한 분석 쿼리를 허용하는 오픈 소스 아파치 스파크 프레임워크를 기반으로 한다. 2022년 10월, 레이크하우스는 미국 연방 정부 및 계약자와의 사용을 위해 FedRAMP 승인 상태를 획득했다.

이 회사는 또한 데이터 엔지니어링, 데이터 과학 및 기계 학습 전반에 걸쳐 오픈 소스 모델 프로젝트인 델타 레이크(Delta Lake), MLflow 및 코알라스(Koalas)를 만들었다.

2020년 6월, 데이터브릭스는 델타 레이크용 고속 쿼리 엔진인 델타 엔진(Delta Engine)을 출시했으며, 이는 아파치 스파크 및 MLflow와 호환된다.

2020년 11월, 데이터브릭스는 데이터 레이크를 기반으로 비즈니스 인텔리전스 및 분석 보고서 실행을 위한 Databricks SQL(이전 명칭: SQL Analytics)을 도입했다. 분석가는 표준 SQL로 데이터 세트를 쿼리하거나 커넥터를 사용하여 Holistics, Tableau, Qlik, SigmaComputing, 루커 및 ThoughtSpot과 같은 비즈니스 인텔리전스 도구와 통합할 수 있다.

데이터브릭스는 기계 학습, 데이터 저장 및 처리, 스트리밍 분석, 비즈니스 인텔리전스 등 다른 워크로드를 위한 플랫폼을 제공한다.

2024년 초, 데이터브릭스는 AI 시스템 사용자 지정, 미세 조정 및 구축을 위한 모자이크(Mosaic) 도구 세트를 출시했다. 여기에는 RAG 모델 구축을 위한 AI 벡터 검색, 데이터브릭스에서 미세 조정되거나 사전 배포된 모델을 배포, 관리, 쿼리 및 모니터링하기 위한 서비스인 AI 모델 제공, 그리고 기업이 자체 LLM을 생성하기 위한 플랫폼인 AI 사전 학습이 포함된다.

2024년 3월, 데이터브릭스는 오픈 소스 기반 모델인 DBRX를 출시했다. 이 모델은 전문가 혼합 아키텍처를 가지고 있으며 MegaBlocks 오픈 소스 프로젝트를 기반으로 구축되었다. DBRX를 개발하는 데 1천만 달러가 소요되었다. 출시 당시, 이 모델은 일반적으로 사용되는 산업 벤치마크를 기반으로 가장 빠른 오픈 소스 LLM이었다. 논리 퍼즐 풀기 및 일반 지식 질문 답변을 비롯한 여러 작업에서 Llama 2와 같은 다른 모델을 능가했다. 또한 1360억 개의 매개변수를 가지고 있지만, 평균적으로 출력을 생성하는 데는 360억 개만 사용한다. DBRX는 또한 기업이 자체 AI 모델을 구축하거나 사용자 지정할 수 있는 기반이 된다. 기업은 또한 독점 데이터를 사용하여 특정 사용 사례에 대해 더 높은 품질의 출력을 생성할 수 있다.

데이터브릭스 플랫폼을 구축하는 것 외에도, 이 회사는 Spark에 대한 무크를 공동 주최했으며, 이전에는 Spark Summit으로 알려졌던 Data + AI Summit이라는 Spark 커뮤니티 컨퍼런스를 개최했다.Highlights from DATA+AI Summit 2021 Towards Data Science. June 27, 2021

 협업 
2024년 12월, 데이터브릭스는 Wiz 및 워크데이와 함께 새로운 "Buy with AWS button"을 통해 AWS 상에서 자사 제품을 실행하기로 결정했다.

2025년 6월, 데이터브릭스는 구글 클라우드와 전략적 AI 파트너십을 발표했는데, 이는 데이터 인텔리전스 플랫폼을 구글 클라우드 서비스와 더 깊이 통합하고 공동 고객을 위한 생성형 AI 채택을 가속화하는 것을 목표로 한다.

 운영 
데이터브릭스는 샌프란시스코에 본사를 두고 있다. 또한 캐나다, 네덜란드, 영국 등에도 지사를 두고 있다.

 각주 

분류:자유 소프트웨어 기업
분류:미국의 소프트웨어 기업
분류:샌프란시스코의 기업
분류:빅 데이터 기업
분류:2013년 설립된 소프트웨어 기업