{{위키데이터 속성 추적}}
[[파일:Datensammlung Studie.png|섬네일|데이터 레이크에서 사용할 수 있는 데이터베이스의 예(이 경우 구조화된 데이터)]]
'''데이터 레이크'''(data lake)는 일반적으로 개체 [[오브젝트 스토리지|Blob]] 또는 파일과 같은 자연(natural)/원시(raw) 형식으로 저장된 데이터의 시스템 또는 저장소이다.<ref>{{웹 인용|url=https://blogs.sas.com/content/datamanagement/2016/11/21/growing-import-big-data-quality/|title=The growing importance of big data quality|website=The Data Roundtable|date=21 November 2016 |accessdate=1 June 2020}}</ref> 데이터 레이크는 일반적으로 소스 시스템 데이터, 센서 데이터, 소셜 데이터<ref>{{웹 인용|title=What is a data lake?|url=https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/|website=aws.amazon.com|accessdate=12 October 2020}}</ref> 등의 원시 복사본과 보고, [[데이터 시각화|시각화]], 고급 분석 및 기계 학습과 같은 작업에 사용되는 변환된 데이터를 포함하는 단일 데이터 저장소이다. 데이터 레이크에는 관계형 데이터베이스(행 및 열), 반정형 데이터([[CSV (파일 형식)|CSV]], 로그, [[XML]], [[JSON]]), [[비정형 데이터]](이메일, 문서, PDF) 및 바이너리 데이터(이미지, 오디오, 비디오)의 [[정형 데이터]]가 포함될 수 있다.<ref>{{웹 인용|last1=Campbell|first1=Chris|title=Top Five Differences between DataWarehouses and Data Lakes|url=https://www.blue-granite.com/blog/bid/402596/top-five-differences-between-data-lakes-and-data-warehouses|website=Blue-Granite.com|archive-url=https://web.archive.org/web/20160314183439/https://www.blue-granite.com/blog/bid/402596/top-five-differences-between-data-lakes-and-data-warehouses |archive-date=2016-03-14}}</ref> 데이터 레이크는 "[[온프레미스]]"(조직의 데이터 센터 내) 또는 "클라우드"([[아마존 (기업)|아마존]], [[마이크로소프트]], [[오라클 클라우드]] 또는 [[구글]]과 같은 공급업체의 클라우드 서비스 사용)에 구축될 수 있다.

== 배경 ==
당시 펜타호(Pentaho)의 최고 기술 책임자였던 제임스 딕슨은 원시 데이터에서 파생된 흥미로운 속성을 저장하는 소규모 저장소인 [[데이터 마트]]와 대조하기 위해 2011년에 이 용어를 만들었다.<ref name="woods2011">{{뉴스 인용| title=Big data requires a big architecture |last=Woods |first=Dan |work=[[Forbes]] |date=21 July 2011 |url=https://www.forbes.com/sites/ciocentral/2011/07/21/big-data-requires-a-big-new-architecture/ }}</ref> 데이터 레이크를 홍보하면서 그는 데이터 마트에는 [[정보 사일로]]화와 같은 몇 가지 고유한 문제가 있다고 주장했다.<ref name="dixon2010">{{웹 인용| last=Dixon|first=James|title=Pentaho, Hadoop, and Data Lakes|url=https://jamesdixon.wordpress.com/2010/10/14/pentaho-hadoop-and-data-lakes/|website=James Dixon’s Blog|date=14 October 2010|publisher=James Dixon|accessdate=7 November 2015 |quote=If you think of a datamart as a store of bottled water – cleansed and packaged and structured for easy consumption – the data lake is a large body of water in a more natural state. The contents of the data lake stream in from a source to fill the lake, and various users of the lake can come to examine, dive in, or take samples.}}</ref> [[프라이스워터하우스쿠퍼스]](PwC)는 데이터 레이크가 "데이터 사일로를 종식시킬 수 있다"고 말했다.<ref name="stein2014">{{보고서 인용| url=http://www.pwc.com/en_US/us/technology-forecast/2014/cloud-computing/assets/pdf/pwc-technology-forecast-data-lakes.pdf |title=Data lakes and the promise of unsiloed data |last2=Morrison |first2=Alan |last1=Stein |first1=Brian |publisher=PricewaterhouseCoopers |series=Technology Forecast: Rethinking integration |year=2014 }}</ref> 데이터 레이크에 대한 연구에서 그들은 기업이 "분석을 위한 데이터를 추출하여 단일 하둡 기반 저장소에 배치하기 시작했다"고 언급했다.

== 예 ==
많은 기업에서는 [[구글 클라우드 스토리지]] 및 [[아마존 S3]]와 같은 클라우드 스토리지 서비스나 [[아파치 하둡]] 분산 파일 시스템(HDFS)과 같은 분산 파일 시스템을 사용한다.<ref name="tuulos2015">{{웹 인용| title=Petabyte-Scale Data Pipelines with Docker, Luigi and Elastic Spot Instances |last=Tuulos |first=Ville |website=NextRoll|date=22 September 2015 |url=http://tech.adroll.com/blog/data/2015/09/22/data-pipelines-docker.html}}</ref> 데이터 레이크 개념에 대한 학문적 관심이 점차 높아지고 있다. 예를 들어 카디프 대학의 퍼스널 데이터레이크(Personal DataLake)는 개인 데이터를 수집, 정리, 공유하는 단일 지점을 제공하여 개별 사용자의 빅 데이터를 관리하는 것을 목표로 하는 새로운 유형의 데이터 레이크이다.<ref>{{서적 인용|doi = 10.1109/BDCloud.2015.62|isbn = 978-1-4673-7183-4|chapter = Personal Data Lake with Data Gravity Pull|title = 2015 IEEE Fifth International Conference on Big Data and Cloud Computing|year = 2015|last1 = Walker|first1 = Coral|last2 = Alrehamy|first2 = Hassan|pages = 160–167|s2cid = 18024161}}</ref>

이전 데이터 레이크(Hadoop 1.0)는 배치 중심 처리([[맵리듀스]]) 기능이 제한되어 있었고 이와 관련된 유일한 처리 패러다임이었다. 데이터 레이크와 상호 작용하려면 지도 축소 및 [[아파치 피그]], [[아파치 스파크]] 및 [[아파치 하이브]](원래는 배치 지향적임)와 같은 상위 수준 도구를 사용하여 자바에 대한 전문 지식이 있어야 했다.

== 각주 ==
<references />

[[분류:데이터 관리]]
[[분류:클라우드 스토리지]]