웹 아카이빙

웹 아카이빙()은 월드 와이드 웹의 자료를 수집, 보존하고 접근을 제공하는 과정이다. 이 목표는 정보가 연구 및 대중을 위한 아카이브 형식으로 보존되도록 보장하는 것이다. 소셜 미디어 플랫폼을 본뜬 인터페이스를 통해 역사적 기록을 디지털화하고 아카이브를 플랫폼화하는 과정은 인기도, 연결성, 프로그래밍 가능성과 같은 소셜 미디어 논리에 부합하는 콘텐츠에 특권을 부여함으로써 집단 기억을 재구성할 수 있다.

웹 기록물관리사들은 일반적으로 자동화된 웹 크롤러를 사용하여 웹에 있는 방대한 양의 정보를 캡처한다. 널리 알려진 웹 아카이브 서비스는 인터넷 아카이브가 운영하는 웨이백 머신이다.

웹에서 생성되고 기록되는 인간 문화의 비중이 커지면서 점점 더 많은 도서관과 아카이브가 웹 아카이빙의 과제에 직면해야 하는 상황이 불가피해지고 있다. 국립도서관과 국가기록원 및 다양한 기관 연합체도 웹 콘텐츠 손실을 방지하기 위해 웹 콘텐츠 아카이빙에 참여하고 있다.

기업 유산, 규제 또는 법적 목적을 위해 자체 웹 콘텐츠를 아카이빙해야 하는 조직을 위한 상업용 웹 아카이빙 소프트웨어 및 서비스도 이용할 수 있다.

역사 및 발전
1990년대 중후반부터 웹의 큐레이션 및 조직화가 널리 퍼져 있었지만, 최초의 대규모 웹 아카이빙 프로젝트 중 하나는 브루스터 케일이 1996년에 설립한 비영리 단체인 인터넷 아카이브였다. 인터넷 아카이브는 2001년에 아카이브된 웹 콘텐츠를 볼 수 있는 자체 검색 엔진인 웨이백 머신을 출시했다. 2018년 기준으로 인터넷 아카이브는 40페타바이트의 데이터를 보관하고 있었다. 인터넷 아카이브는 또한 대량의 데이터를 효율적이고 안전하게 저장하기 위한 PetaBox와 노르딕 국립 도서관과 협력하여 개발한 웹 크롤러인 Heritrix를 포함하여 데이터를 수집하고 저장하기 위한 많은 자체 도구를 개발했다. 거의 동시에 시작된 다른 프로젝트로는 캐나다 국립도서관의 웹 아카이빙 프로젝트, 호주의 판도라, 태즈메이니아 웹 아카이브, 스웨덴의 Kulturarw3 등이 있었다.

2001년부터 2010년까지, 국제 웹 아카이빙 워크숍(IWAW)은 경험을 공유하고 아이디어를 교환하는 플랫폼을 제공했다. 2003년에 설립된 국제 인터넷 보존 컨소시엄 (IIPC)은 웹 아카이브 생성을 위한 표준 및 오픈 소스 도구 개발에 있어 국제적인 협력을 촉진했다.

현재는 해체된 인터넷 메모리 재단은 2004년에 설립되었으며 유럽 연합 집행위원회에 의해 유럽의 웹을 아카이빙하기 위해 설립되었다. 이 프로젝트는 "리치 미디어 캡처, 시간적 일관성 분석, 스팸 평가 및 용어 진화 감지"와 같은 많은 오픈 소스 도구를 개발하고 출시했다. 재단의 데이터는 현재 인터넷 아카이브에 보관되어 있지만 현재 공개적으로 접근할 수는 없다.

보존에 대한 중앙 집중식 책임이 없음에도 불구하고 웹 콘텐츠는 빠르게 공식 기록이 되고 있다. 예를 들어, 2017년에 미국 법무부는 정부가 대통령의 트윗을 공식 성명으로 취급한다고 확인했다.

수집 방법

웹 기록물관리사들은 일반적으로 HTML 웹 페이지, 스타일 시트, 자바스크립트, 이미지 및 비디오를 포함한 다양한 유형의 웹 콘텐츠를 아카이빙한다. 또한 수집된 리소스에 대한 접근 시간, MIME 유형 및 콘텐츠 길이와 같은 메타데이터를 아카이빙한다. 이 메타데이터는 아카이브된 컬렉션의 인증 및 출처를 확립하는 데 유용하다.

거래 아카이빙
거래 아카이빙은 웹 서버와 웹 브라우저 사이에 발생하는 실제 거래를 수집하는 이벤트 중심 접근 방식이다. 이는 주로 특정 웹사이트에서 특정 날짜에 실제로 본 콘텐츠의 증거를 보존하는 수단으로 사용된다. 이는 정보 공개 및 보존에 대한 법적 또는 규제 요구 사항을 준수해야 하는 조직에 특히 중요할 수 있다.

거래 아카이빙 시스템은 일반적으로 웹 서버로의 모든 HTTP 요청과 응답을 가로채고, 중복 콘텐츠를 제거하기 위해 각 응답을 필터링하며, 응답을 비트 스트림으로 영구 저장하여 작동한다.

어려움과 한계
크롤러
웹 크롤링을 웹 수집의 주요 수단으로 사용하는 웹 아카이브는 웹 크롤링의 어려움에 영향을 받는다.
 로봇 배제 프로토콜은 크롤러가 웹사이트의 일부에 접근하지 않도록 요청할 수 있다. 일부 웹 기록물관리사는 요청을 무시하고 해당 부분을 크롤링할 수도 있다.
 웹사이트의 많은 부분이 딥 웹에 숨겨져 있을 수 있다. 예를 들어, 웹 양식 뒤의 결과 페이지는 크롤러가 결과 페이지로 연결되는 링크를 따를 수 없는 경우 딥 웹에 있을 수 있다.
 크롤러 트랩 (예: 달력)은 크롤러가 무한한 수의 페이지를 다운로드하게 할 수 있으므로 크롤러는 일반적으로 크롤링할 동적 페이지 수를 제한하도록 구성된다.
 대부분의 아카이빙 도구는 페이지를 있는 그대로 캡처하지 않는다. 광고 배너와 이미지는 아카이빙 시 종종 누락되는 것으로 관찰된다.

그러나 작동하는 링크, 미디어 등이 있는 완전히 탐색 가능한 웹 아카이브와 같은 기본 형식의 웹 아카이브는 크롤러 기술을 통해서만 가능하다는 점에 유의해야 한다.

웹은 너무 커서 상당 부분을 크롤링하려면 많은 기술적 자원이 필요하다. 또한 웹은 너무 빠르게 변하기 때문에 크롤러가 크롤링을 마치기도 전에 웹사이트의 일부가 수정될 수 있다.

일반적인 한계
일부 웹 서버는 일반 브라우저 요청에 응답하는 것과 다른 페이지를 웹 아카이버 요청에 반환하도록 구성되어 있다. 이는 일반적으로 검색 엔진을 속여 더 많은 사용자 트래픽을 웹사이트로 유도하기 위해 수행되며, 종종 책임 회피 또는 해당 콘텐츠를 표시할 수 있는 브라우저에만 향상된 콘텐츠를 제공하기 위해 수행된다.

웹 기록물관리사는 웹 아카이빙의 기술적 문제뿐만 아니라 지적 재산권 법률에도 대처해야 한다. 피터 라이먼은 "웹은 일반적으로 퍼블릭 도메인 자원으로 간주되지만, 저작권이 있으므로 기록물관리사는 웹을 복사할 법적 권리가 없다"고 말한다. 그러나 일부 국가의 국립도서관은 납본 제도의 확장에 따라 웹의 일부를 복사할 법적 권리를 가지고 있다.

WebCite, 인터넷 아카이브 또는 인터넷 메모리 재단과 같이 대중에게 공개되는 일부 비영리 웹 아카이브는 콘텐츠 소유자가 대중이 접근하는 것을 원하지 않는 아카이브된 콘텐츠를 숨기거나 제거할 수 있도록 허용한다. 다른 웹 아카이브는 특정 위치에서만 접근 가능하거나 사용이 제한된다. WebCite는 구글이 승소한 구글 캐싱에 대한 최근 소송을 인용한다.

법률
2017년 미국 금융 규제 기관인 금융산업규제기구(FINRA)는 모든 디지털 통신을 하는 기업이 기록을 보관해야 한다고 명시하는 통지를 발표했다. 여기에는 웹사이트 데이터, 소셜 미디어 게시물 및 메시지가 포함된다. 일부 저작권 법은 웹 아카이빙을 제한할 수 있다. 예를 들어, Sci-Hub의 학술 아카이빙은 현대 저작권법의 범위를 벗어난다. 이 사이트는 오픈 액세스 라이선스가 없는 학술 작품을 포함하여 학술 작품에 대한 영구적인 접근을 제공하며, 이로 인해 그렇지 않으면 사라질 수 있는 과학 연구의 아카이빙에 기여한다.

 같이 보기 
 Archive.today
 디지털 아카이브
 전자 도서관
 미러 (컴퓨팅)
 가상 인공물
 웨이백 머신
 웹 크롤러
 WebCite

 각주 

 출처 

 
 
 
 
 
 
 
 
 
 

 외부 링크 
 International Internet Preservation Consortium (IIPC)—International consortium whose mission is to acquire, preserve, and make accessible knowledge and information from the Internet for future generations
 National Library of Australia, Preserving Access to Digital Information (PADI)
 Library of Congress—Web Archiving

분류:보존 및 수복
분류:디지털 보존
분류:미국 의회도서관
분류:박물관학
분류:1996년 개설된 인터넷 자산