데이터브릭스

databricks.com **데이터브릭스**(Databricks)는 2013년 아파치 스파크의 원조 제작자들이 설립한 글로벌 데이터, 애널리틱스, 인공지능 (AI) 회사이다.url-status=live 이 회사는 기업이 생성형 인공지능 및 기타 기계 학습 모델을 포함한 데이터와 AI를 구축, 확장 및 관리하는 데 도움이 되는 클라우드 기반 플랫폼을 제공한다.access-date=2024-03-19 데이터브릭스는 데이터 웨어하우스와 데이터 레이크의 기능을 결합한 데이터 및 AI 플랫폼인 데이터 레이크하우스를 개척하여 조직이 기존 비즈니스 애널리틱스 및 AI 워크로드에 정형 및 비정형 데이터를 모두 관리하고 사용할 수 있도록 한다.url-status=live 이 회사는 유사하게 델타 레이크를 개발했는데, 이는 기계 학습 및 기타 데이터 과학 활용 사례를 위해 데이터 레이크에 안정성을 제공하는 오픈 소스 프로젝트이다.url-status=live
# 역사

## 2013-2021
데이터브릭스는 캘리포니아 대학교 버클리의 AMPLab 프로젝트에서 성장했으며, 이 프로젝트는 스칼라 위에 구축된 오픈 소스 분산 컴퓨팅 프레임워크인 아파치 스파크를 만드는 데 관여했다.language=en-US 이 회사는 알리 고드시, Andy Konwinski, Arsalan Tavakoli-Shiraji, 이온 스토이카, 마테이 자하리아, Patrick Wendell, 그리고 레이놀드 신이 설립했다.language=en-US 2017년 11월, 이 회사는 마이크로소프트 애저 통합을 통해 마이크로소프트 애저에서 퍼스트 파티 서비스로 발표되었다.url-status=live 2021년 2월, 데이터브릭스는 구글 클라우드와 함께 구글 쿠버네티스 엔진 및 구글의 빅쿼리 플랫폼과의 통합을 제공했다.url-status=live 당시 이 회사는 5,000개 이상의 조직이 자사 제품을 사용하고 있다고 밝혔다.url-status=live 포춘은 2021년 데이터브릭스를 "밀레니얼을 위한 최고의 대기업 직장" 중 하나로 선정했다.url-status=live
## 2022년~현재
2023년 11월, 데이터브릭스는 레이크하우스의 통합 이점과 MosaicML의 생성형 AI 기술을 결합하여 고객이 자체 독점 데이터를 더 잘 이해하고 사용할 수 있도록 하는 새로운 제품인 데이터브릭스 데이터 인텔리전스 플랫폼을 공개했다.url-status=live 이 회사는 2024년 12월에 620억 달러의 가치로 평가되었으며, 이는 역사상 가장 큰 금액의 투자 유치이자 AI 투자 중 단일 최대 규모에 해당한다.work=Fast Company 2025년 3월 초, 데이터브릭스는 샌프란시스코 시내에 10억 달러를 투자할 것이라고 발표했다. 데이터브릭스는 2025년 3월 앤트로픽과 파트너십을 맺었으며, 앤트로픽의 AI 제품은 데이터브릭스 데이터 인텔리전스 플랫폼에 탑재될 예정이다. 이 계약은 5년 동안 1억 달러 규모로 체결되었다. 알리 고드시는 데이터브릭스의 CEO로 남아 있다.
# 인수
2020년 6월, 데이터브릭스는 데이터 시각화 및 대화형 대시보드 구축을 위한 오픈 소스 도구인 Redash를 인수했다.language=en-US 2021년에는 코딩 없이 데이터 탐색이 가능한 제품인 bamboolib을 보유한 독일의 노코드 회사 8080 Labs를 인수했다.url-status=live 2023년 5월, 데이터브릭스는 데이터 보안 그룹 Okera를 인수하여 데이터브릭스의 데이터 거버넌스 기능을 확장했다.website=비즈니스 인사이더 6월에는 오픈 소스 생성형 AI 스타트업 MosaicML을 14억 달러에 인수했다.url-status=liveurl-status=live 10월에는 데이터 복제 스타트업 Arcion을 1억 달러에 인수했다.language=en-US 여섯 번째 인수라고 추정되는 이번 인수를 통해 데이터브릭스는 오픈 소스 AI에 사용되는 데이터 관리 시스템인 Tabular를 10억 달러 이상에 인수했다.work=로이터 2023년 3월, 오픈AI의 챗GPT 인기에 힘입어 개발자들이 챗봇을 만들 수 있는 돌리라는 이름의 오픈 소스 언어 모델을 출시했다. 돌리는 챗GPT와 유사한 결과를 내는 데 더 적은 파라미터를 사용했지만, 데이터브릭스는 자사 봇이 실제로 챗GPT의 성능과 일치하는지 보여주는 공식적인 벤치마크 테스트를 공개하지 않았다.url-status=liveurl-status=liveurl-status=live 데이터브릭스는 2023 회계연도에 16억 달러의 매출을 기록하여 이전 수준의 두 배 이상을 달성했다.url-status=live 2025년 데이터브릭스는 서버리스 데이터베이스 스타트업 Neon을 약 10억 달러에 인수했다.language=en-USlanguage=en
# 자금 조달
2013년 9월, 데이터브릭스는 앤드리슨 호로위츠로부터 1,390만 달러를 모금했다고 발표했으며, 구글의 맵리듀스 시스템에 대한 대안을 제시하는 것을 목표로 한다고 밝혔다.url-status=deadurl-status=live 2019년 마이크로소프트는 이 회사의 시리즈 E에 미지정 금액으로 참여하여 데이터브릭스의 투자자로 주목받았다.url-status=liveurl-status=live 이 회사는 19억 달러의 자금을 유치했으며, 여기에는 2021년 2월 프랭클린 템플턴이 주도한 280억 달러의 기업 가치로 평가된 10억 달러 규모의 시리즈 G 투자가 포함된다. 다른 투자자로는 아마존 웹 서비스, 알파벳의 성장형 투자 회사인 CapitalG 및 Salesforce Ventures가 있다. 2021년 8월, 데이터브릭스는 16억 달러를 유치하여 기업 가치를 380억 달러로 평가받으며 여덟 번째 투자 라운드를 마쳤다.url-status=live 2024년 12월, 데이터브릭스는 620억 달러의 기업 가치로 100억 달러의 자금 조달을 발표했다.url-status=live {| class="wikitable" |+자금 조달 라운드 !시리즈 !날짜 !금액 (백만 달러) !주요 투자자 |- |A |2013 |13.9 |앤드리슨 호로위츠 |- |B |2014 |33url-status=live |New Enterprise Associates |- |C |2016 |60url-status=live |New Enterprise Associates |- |D |2017 |140url-status=live |Andreessen Horowitz |- |E |2019년 2월 |250url-status=live |Andreessen Horowitz |- |F |2019년 10월 |400url-status=live |Andreessen Horowitz |- |G |2021년 1월 |1,000url-status=live |프랭클린 템플턴 인베스트먼츠 |- |H |2021년 8월 |1,600url-status=live |모건 스탠리 |- |I |2023년 9월 |500language=en-US |Capital One Ventures, Nvidia |- |J |2024년 12월 |10,000website=Business Insider |Thrive Capital |}
# 제품
데이터브릭스는 "레이크하우스(lakehouse)"라는 마케팅 용어를 사용하여 클라우드 데이터 플랫폼을 개발하고 판매하는데, 이 용어는 "데이터 웨어하우스"와 "데이터 레이크"의 합성어이다.url-status=live 데이터브릭스의 레이크하우스는 기존의 데이터베이스 스키마 없이 반정형 데이터에 대한 분석 쿼리를 허용하는 오픈 소스 아파치 스파크 프레임워크를 기반으로 한다.url-status=live 2022년 10월, 레이크하우스는 미국 연방 정부 및 계약자와의 사용을 위해 FedRAMP 승인 상태를 획득했다.url-status=live 이 회사는 또한 데이터 엔지니어링, 데이터 과학 및 기계 학습 전반에 걸쳐 오픈 소스 모델 프로젝트인 델타 레이크(Delta Lake), MLflow 및 코알라스(Koalas)를 만들었다.language=enlanguage=en 2020년 6월, 데이터브릭스는 델타 레이크용 고속 쿼리 엔진인 델타 엔진(Delta Engine)을 출시했으며,url-status=live 이는 아파치 스파크 및 MLflow와 호환된다.url-status=live 2020년 11월, 데이터브릭스는 데이터 레이크를 기반으로 비즈니스 인텔리전스 및 분석 보고서 실행을 위한 Databricks SQL(이전 명칭: SQL Analytics)을 도입했다. 분석가는 표준 SQL로 데이터 세트를 쿼리하거나 커넥터를 사용하여 Holistics, Tableau, Qlik, SigmaComputing, 루커 및 ThoughtSpot과 같은 비즈니스 인텔리전스 도구와 통합할 수 있다.url-status=live 데이터브릭스는 기계 학습, 데이터 저장 및 처리, 스트리밍 분석, 비즈니스 인텔리전스 등 다른 워크로드를 위한 플랫폼을 제공한다.url-status=live 2024년 초, 데이터브릭스는 AI 시스템 사용자 지정, 미세 조정 및 구축을 위한 모자이크(Mosaic) 도구 세트를 출시했다. 여기에는 RAG 모델 구축을 위한 AI 벡터 검색, 데이터브릭스에서 미세 조정되거나 사전 배포된 모델을 배포, 관리, 쿼리 및 모니터링하기 위한 서비스인 AI 모델 제공, 그리고 기업이 자체 LLM을 생성하기 위한 플랫폼인 AI 사전 학습이 포함된다.url-status=live 2024년 3월, 데이터브릭스는 오픈 소스 기반 모델인 DBRX를 출시했다. 이 모델은 전문가 혼합 아키텍처를 가지고 있으며 MegaBlocks 오픈 소스 프로젝트를 기반으로 구축되었다.url-status=live DBRX를 개발하는 데 1천만 달러가 소요되었다. 출시 당시, 이 모델은 일반적으로 사용되는 산업 벤치마크를 기반으로 가장 빠른 오픈 소스 LLM이었다. 논리 퍼즐 풀기 및 일반 지식 질문 답변을 비롯한 여러 작업에서 Llama 2와 같은 다른 모델을 능가했다. 또한 1360억 개의 매개변수를 가지고 있지만, 평균적으로 출력을 생성하는 데는 360억 개만 사용한다.url-status=live DBRX는 또한 기업이 자체 AI 모델을 구축하거나 사용자 지정할 수 있는 기반이 된다. 기업은 또한 독점 데이터를 사용하여 특정 사용 사례에 대해 더 높은 품질의 출력을 생성할 수 있다.url-status=live 데이터브릭스 플랫폼을 구축하는 것 외에도, 이 회사는 Spark에 대한 무크를 공동 주최했으며,language=en-US 이전에는 Spark Summit으로 알려졌던 Data + AI Summit이라는 Spark 커뮤니티 컨퍼런스를 개최했다.language=en-USHighlights from DATA+AI Summit 2021 Towards Data Science. June 27, 2021
## 협업
2024년 12월, 데이터브릭스는 Wiz 및 워크데이와 함께 새로운 "Buy with AWS button"을 통해 AWS 상에서 자사 제품을 실행하기로 결정했다.language=en 2025년 6월, 데이터브릭스는 구글 클라우드와 전략적 AI 파트너십을 발표했는데, 이는 데이터 인텔리전스 플랫폼을 구글 클라우드 서비스와 더 깊이 통합하고 공동 고객을 위한 생성형 AI 채택을 가속화하는 것을 목표로 한다.publisher=Databricks
# 운영
데이터브릭스는 샌프란시스코에 본사를 두고 있다.url-status=live 또한 캐나다, 네덜란드, 영국 등에도 지사를 두고 있다.url-status=live