Семрежно архивирање

Семрежно архивирање (''веб-архивирање'') — постапка на собирање делови од Светската пајажина за да се обезбеди зачувување на информациите во архивата за идните истражувачи, историчари и јавноста. Веб-архивистите обично користат веб-роботи за автоматско снимање поради огромната големина и количината на информации на веб мрежата. Најголемата организација за архивирање веб заснована на пристап на масовно ползење е „Wayback Machine“, која се труди да одржува архива на целата мрежа.
Сè поголемиот дел од човечката култура создава и запишува на веб мрежата, прави неизбежно сè повеќе и повеќе библиотеки и архиви и се соочуваат со предизвиците на архивирање на веб мрежата. Националните библиотеки, националните архиви и разни конзорциуми на организации исто така се вклучени во архивирање на културно важните веб-содржини.
Комерцијални софтвери за веб архивирање и услуги исто така се достапни за организациите кои треба да ја архивираат сопствената веб содржина за корпоративно наследство, регулаторни или правни цели.
1 Историја и развој
Додека одбирањето и организацијата на мрежата преовладувало од средината до крајот на 90-тите години на минатиот век, еден од првите големи архивирачки проекти бил Internet Archive, непрофитна организација создадена од Брустер Кејл во 1996 година. Интернет архивата издаде сопствен пребарувач за прегледување на архивираната веб-содржина, Wayback Machine, во 2001 година. Од 2018 година, Интернет архивата e дом на 40 петабајти податоци. Интернет архивата исто така разви многу свои алатки за собирање и складирање на нејзините податоци, вклучувајќи го и „Петабокс“ за ефикасно и безбедно складирање на големи количини на податоци и „Хетрикс“, веб-робот што бил развиен заедно со нордиските национални библиотеки. Други проекти започнати во исто време австралиската Пандора и Тасманија веб-архиви и шведската Kulturarw.
Од 2001 до 2010, меѓународната работилница за архивирање на веб (IWAW) обезбеди платформа за споделување искуства и размена на идеи. Меѓународниот конзорциум за зачувување на Интернет (IIPC), основан во 2003 година, ја олесни меѓународната соработка во развивање на стандарди и алатки со отворен извор за создавање веб-архиви.
Сега непостоечката Фондација за меморија на Интернет е основана во 2004 година и е основана од Европската комисија со цел да ја архивира веб мрежата во Европа. Овој проект разви и издаде многу алатки со отворен извор, како што се „снимање на богати медиуми, временска кохерентна анализа, проценка на несакана пошта и откривање на еволуцијата на терминологија.“ Податоците од фондацијата сега се наоѓаат во Интернет-архивата, но во моментов не се јавно достапни.
И покрај фактот дека нема централизирана одговорност за нејзино зачувување, веб-содржината забрзано станува официјален запис. На пример, во 2017 година Министерството за правда на Соединетите држави потврди дека владата ги третира твитовите на Претседателот како официјални изјави.
2 Собирање на веб
Веб-архивистите генерално архивираат разни видови веб-содржина, вклучувајќи HTML мрежни места, стилови, JavaScript, слики и видео. Тие исто така ги архивираат метаподатоците за собраните ресурси како што се времето на пристап, MIME типот и должината на содржината. Овие метаподатоци се корисни при утврдување на автентичноста и потеклото на архивираната колекција.
3 Методи на собирање
3.1 Далечинско собирање
Најчестата техника за архивирање веб користи веб-роботи за автоматизација на процесот на собирање мрежни места. Веб-роботите обично пристапуваат на мрежните места на ист начин како што корисниците со прелистувач ја гледаат мрежата и затоа обезбедуваат релативно едноставен методи за далечинско собирање на веб-содржина. Примери за веб-роботи што се користат за веб-архивирање се:
*** Heritrix
** HTTrack
** Wget
Постојат различни бесплатни услуги што можат да се користат за архивирање на веб-ресурси „на барање“, користејќи техники за веб-индексирање. Овие услуги вклучуваат Wayback Machine и WebCite.
3.2 Архивирање на базата на податоци
Архивирање на базата на податоци се однесува на методи за архивирање на основната содржина на мрежните места управувани од базата на податоци. Типично бара екстракција на содржината на базата на податоци во стандардна шема, често користејќи XML. Откако ќе се зачува во тој стандарден формат, архивираната содржина на повеќе бази на податоци може да биде достапна со користење на единствен систем за пристап. Како пример за овој пристап се алатките и развиени од Националната библиотека на Франција и Националната библиотека на Австралија, соодветно. DeepArc овозможува структурата на релационата база на податоци да биде мапирана во XML-шема и содржината да се извезува во XML-документ. Xinq тогаш дозволува содржината да се доставува преку Интернет. Иако оригиналниот распоред и однесување на мрежната страница не може да се зачува точно, Xinq дозволува да се реплицираат основните функционалности за пребарување и пребарување.
3.3 Трансакциско архивирање
Трансакциската архивирање е пристап управуван од настани, кој ги собира реалните трансакции што се случуваат помеѓу веб-сервер и прелистувач. Првенствено се користи како средство за зачувување докази за содржината што всушност била прегледана на одредено мрежно место, на даден датум. Ова може да биде особено важно за организациите кои треба да ги почитуваат законските или регулаторните барања за откривање и задржување на информации.
Системот за архивирање на трансакциите обично работи со пресретнување на секое барање HTTP до, и одговор од, на веб-серверот, филтрирање на секој одговор за елиминирање на дупликат содржина и трајно зачувување на одговорите како преноси.
4 Тешкотии и ограничувања
4.1 Роботи
Веб-архивите кои се потпираат на веб-индексирање како нивни примарни средства за собирање на Интернет, се под влијание на тешкотиите на веб-индексирање:
* Протоколот за исклучување на роботите може да побара од роботите да не пристапуваат до делови од мрежно место. Некои веб-архивисти може да го игнорираат барањето и да ги ползат тие делови во секој случај.
* Големи делови од мрежно место може да бидат скриени во Длабоката мрежа. На пример, страницата за резултати зад веб-форма може да лежи во Длабоката мрежа, ако роботите не можат да следат врска до страницата за резултати.
* Замките на роботите (на пр., Календари) може да предизвикаат од индексирање преземање на бесконечен број страници, така што роботите обично се конфигурирани да го ограничуваат бројот на динамични страници што ги лазат.
* Повеќето од алатките за архивирање не ја зафаќаат страницата како што е. Забележано е дека рекламните банери и слики честопати се пропуштаат при архивирање.
Сепак, важно е да се напомене дека веб-архивата со природен формат, т.е. веб-архива со можност за прегледување, со работни врски, медиуми и сл., навистина е можна само со употреба на технологија на роботи.
Мрежата е толку голема што ползењето со значителен дел од него одзема голем број технички ресурси. Мрежата се менува толку брзо што делови од мрежно место може да се променат пред индексирање дури и да заврши со тоа што го ползи.
4.2 Општи ограничувања
Некои опслужувачи се конфигурирани да враќаат различни страници на барањата за веб-архивирање отколку што би одговориле на редовните барања на прелистувачот. Ова обично се прави за да ги измамат пребарувачите да насочуваат поголем сообраќаен корисник кон мрежно место и често се прави за да се избегне одговорност или да се обезбеди подобрена содржина само за оние прелистувачи што можат да ја прикажат.
Не само што веб-архивистите мора да се справат со техничките предизвици на веб-архивирањето, тие исто така мора да се борат и со законите за интелектуална сопственост. Питер Лиман наведува дека „иако мрежата популарно се смета како ресурс во јавна сопственост, таа е заштитена со авторски права затоа, архивистите немаат законско право да ја копираат мрежата“. Сепак, националните библиотеки во некои земји имаат законско право да копираат делови од мрежата под продолжување на законскиот депозит.
Некои приватни непрофитни веб-архиви што се јавно достапни како WebCite, Интернет-архивата или Фондацијата за меморија на Интернет, им овозможуваат на сопствениците на содржини да ја кријат или отстранат архивираната содржина до која не сакаат јавноста да има пристап. Другите веб-архиви се достапни само од одредени локации или имаат регулирано користење. WebCite ја цитира неодамнешната тужба против кеширање на Google, која Google ја доби.
5 Закони
Во 2017 година, Регулаторниот орган на финансиската индустрија, Inc. (FINRA), финансиска регулаторна организација на Соединетите држави, објави известување во кое се наведува дека сите деловни активности што прават дигитални комуникации се должни да водат евиденција. Ова вклучува податоци за мрежни места, објави на социјални мрежи и пораки. Некои закони за авторски права може да ја инхибираат архивирањето на Интернет. На пример, академското архивирање од страна на Sci-Hub е надвор од границите на современиот закон за авторски права. Мрежната страница обезбедува траен пристап до академски дела, вклучително и оние што немаат дозвола за отворен пристап и со тоа придонесува за архивирање на научни истражувања, кои инаку може да бидат изгубени.
6 Поврзано
* Архивско мрежно место
* Archive Team
* archive.today (порано archive.is)
* Збирна меморија
* Common Crawl
* Дигитално зачувување
* Google Cache
* Список на мрежни архивски иницијативи
* Memento Project
* Minerva Initiative
* Mirror website
* Програма за национална дигитална информациска инфраструктура и зачувување (NDIIPP)
* Програма за национална дигитална библиотека (NDLP)
* PADICAT
* PageFreezer
* Pandora Archive
* UK Web Archive
* Виртуелен артефакт
* Wayback Machine
* Мрежен лазач
* WebCite
7 Наводи