데이터 큐레이션

**데이터 큐레이션**(data curation)은 다양한 소스에서 수집된 자료를 조직하고 통합하는 것이다. 이는 데이터의 가치가 시간이 지나도 유지되고 데이터가 재사용 및 보존을 위해 계속 사용될 수 있도록 데이터를 주석 처리하고 게시하며 제시하는 과정을 포함한다. 데이터 큐레이션은 "원칙적이고 제어된 데이터 생성, 유지보수 및 관리에 필요한 모든 프로세스와 데이터에 가치를 더하는 능력"을 포함한다.Renée J. Miller, “Big Data Curation” in 20th International Conference on Management of Data (COMAD) 2014, Hyderabad, India, December 17–19, 2014 과학 분야에서 데이터 큐레이션은 연구 논문과 같은 과학 텍스트에서 중요한 정보를 추출하여 생물학적 데이터베이스 항목과 같은 전자 형식으로 변환하는 과정을 의미할 수 있다.Bio creative Glossary. Retrieved on 3 October 2016. 현대의 빅 데이터 시대에는 데이터 큐레이션이 더욱 중요해지고 있는데, 특히 대량의 복잡한 데이터 시스템을 처리하는 소프트웨어에 있어서 그러하다.access-date=2 October 2016 이 용어는 디지털 인문학 프로젝트에서 증가하는 문화 및 학술 데이터가 데이터 큐레이션의 전문 지식과 분석적 관행을 요구하는 인문학 분야에서도 사용된다.access-date=2 October 2016"An Introduction to Humanities Data Curation" by Julia Flanders and Trevor Muñoz http://guide.dhcuration.org/intro/. Not available any more: archive.org 넓은 의미에서 큐레이션은 구성 요소를 생성, 관리, 유지 및 유효성 검사하기 위해 수행되는 다양한 활동과 프로세스를 의미한다.Pilin Glossary. Not available any more: archive.org 구체적으로 데이터 큐레이션은 어떤 정보가 저장할 가치가 있고 얼마나 오래 저장할 가치가 있는지 결정하려는 시도이다.url=https://archive.org/details/bigdatalittledat0000borg/page/13
# 역사 및 실제
일반적으로 데이터 큐레이션을 시작하고 메타데이터를 유지하는 것은 데이터베이스 자체가 아니라 사용자이다. 일리노이 대학교 도서관 및 정보과학 대학원에 따르면 "데이터 큐레이션은 학술, 과학 및 교육에 대한 관심과 유용성의 생애주기 동안 데이터를 적극적으로 지속적으로 관리하는 것이며; 큐레이션 활동은 데이터 발견 및 검색을 가능하게 하고, 품질을 유지하며, 가치를 더하고, 시간이 지남에 따라 재사용을 제공한다."access-date=7 October 2013 데이터 큐레이션 워크플로는 데이터 품질 관리, 데이터 보호, 수명 주기 관리 및 데이터 이동과 구별된다.access-date=2 October 2016 센서스 자료는 20세기 초부터 천공 카드 형태로 제공되었고 1960년대부터 전자화되었다.access-date=2018-03-13 정치사회연구를 위한 대학 간 컨소시엄(ICPSR) 웹사이트는 1962년을 첫 설문조사 데이터 아카이브 설립일로 기록하고 있다.access-date=2018-03-15 데이터 라이브러리에 대한 심층적인 배경은 1982년 일리노이 저널 라이브러리 트렌드(Library Trends)에 실렸다.journal=Library Trends 데이터 아카이브 운동의 역사적 배경은 "Social Scientific Information Needs for Numeric Data: The Evolution of the International Data Archive Infrastructure"를 참조하라.Kathleen M. Heim, "Social Scientific Information Needs for Numeric Data: The Evolution of the International Data Archive Infrastructure." in Collection Management 9 (Spring 1987): 1-53. 모든 조직에서 수행되는 정확한 큐레이션 프로세스는 데이터 양, 데이터에 포함된 노이즈 양, 그리고 데이터의 예상 미래 사용이 보급에 어떤 의미를 갖는지에 따라 달라진다. 우주 자료 위기는 1999년 OAIS 참조모형(Open Archival Information System) 모델의 탄생으로 이어졌고,date=2015-12-09 이 모델은 1982년에 결성된 우주 데이터 시스템 자문위원회(CCSDS)에서 관리했다.access-date=2018-03-14 데이터 큐레이션이라는 용어는 때때로 생물학적 데이터베이스의 맥락에서 사용되는데, 여기서 특정 생물학적 정보는 다양한 연구 논문에서 먼저 얻어진 다음 특정 범주의 데이터베이스 내에 저장된다. 예를 들어, 항우울제에 대한 정보는 다양한 소스에서 얻을 수 있으며, 데이터베이스로 사용 가능한지 확인한 후 약물 데이터베이스의 항우울제 범주에 저장된다. 기업들은 또한 데이터 품질과 정확성을 보장하기 위해 운영 및 전략 프로세스 내에서 데이터 큐레이션을 활용하고 있다.E. Curry, A. Freitas, and S. O’Riáin, “The Role of Community-Driven Data Curation for Enterprises,” date=2012-01-23 in Linking Enterprise Data, D. Wood, Ed. Boston, MA: Springer US, 2010, pp. 25-47. A. Freitas, E. Curry, “Big Data Curation,” date=2016-09-13 in New Horizons for a Data-Driven Economy, Springer (Open Access), 2015.
# 프로젝트 및 연구
정보 재사용을 위한 보급 정보 패키지(DIPIR) 프로젝트는 정량적 사회 과학자, 고고학자 및 동물학자가 생산하고 사용하는 연구 데이터를 연구하고 있다. 대상 독자는 보조 데이터를 사용하는 연구자와 디지털 큐레이터, 디지털 저장소 관리자, 데이터 센터 직원 및 기타 디지털 정보를 수집, 관리 및 저장하는 사람들이다.Dissemination Information Packages for Information Reuse (DIPIR) project http://www.oclc.org/research/themes/user-studies/dipir.html 단백질 정보 은행은 1971년 브룩헤이븐 국립연구소에서 설립되었으며, 전 세계적인 프로젝트로 성장했다.url-status=dead 단백질 및 기타 대형 생체 분자의 3차원 구조 데이터베이스인 PDB는 120,000개 이상의 구조를 포함하고 있으며, 모두 표준화되고 실험 데이터에 대해 유효성 검사가 이루어졌으며 주석이 달려 있다. 초파리과 곤충 가족의 유전 및 분자 데이터의 주요 저장소인 플라이베이스(FlyBase)는 1992년으로 거슬러 올라간다. 플라이베이스는 전체 노랑초파리 게놈에 주석을 달고 있다.pmc=5210523 언어 데이터 컨소시엄은 1992년으로 거슬러 올라가는 언어 데이터 저장소이다.access-date=15 March 2018 슬론 디지털 전천탐사는 2000년에 밤하늘을 탐사하기 시작했다.access-date=15 March 2018 컴퓨터 과학자 짐 그레이는 SDSS의 데이터 아키텍처 작업을 하면서 과학 분야에서 데이터 큐레이션 개념을 옹호했다.hdl=2142/78099 데이터넷은 미국 국립과학재단 사이버 인프라 사무소의 연구 프로그램으로, 과학 분야의 데이터 관리 프로젝트에 자금을 지원했다.access-date=March 15, 2018 데이터원(DataONE, Data Observation Network for Earth)은 데이터넷을 통해 자금을 지원받은 프로젝트 중 하나로, 환경 과학 커뮤니티가 데이터를 보존하고 공유하는 데 도움을 주고 있다.url-status=dead 데이터 큐레이션의 상업적 중요성은 이 분야의 특허 존재로 강조된다. 예를 들어, Tamr Inc. 및 Praxi Data와 같은 회사는 데이터 큐레이션 기술 및 프로세스와 관련된 특허를 보유하고 있다.access-date=15 June 2025