Models and methods for web archive crawling

Web archives offer a rich and plentiful source of information to researchers, analysts, and legal experts. For this purpose, they gather Web sites as the sites change over time. In order to keep up to high standards of data quality, Web archives have to collect all versions of the Web sites. Due to limited resuources and technical constraints this is not possible. Therefore, Web archives consist of versions archived at various time points without guarantee for mutual consistency. This thesis presents a model for assessing the data quality in Web archives as well as a family of crawling strategies yielding high-quality captures. We distinguish between single-visit crawling strategies for exploratory and visit-revisit crawling strategies for evidentiary purposes. Single-visit strategies download every page exactly once aiming for an “undistorted” capture of the ever-changing Web. We express the quality of such the resulting capture with the “blur” quality measure. In contrast, visit-revisit strategies download every page twice. The initial downloads of all pages form the visit phase of the crawling strategy. The second downloads are grouped together in the revisit phase. These two phases enable us to check which pages changed during the crawling process. Thus, we can identify the pages that are consistent with each other. The quality of the visit-revisit captures is expressed by the “coherence” measure. Quality-conscious strategies are based on predictions of the change behaviour of individual pages. We model the Web site dynamics by Poisson processes with pagespecific change rates. Furthermore, we show that these rates can be statistically predicted. Finally, we propose visualization techniques for exploring the quality of the resulting Web archives. A fully functional prototype demonstrates the practical viability of our approach. Ein Webarchiv ist eine umfassende Informationsquelle fur eine Vielzahl von Anwendern, wie etwa Forscher, Analysten und Juristen. Zu diesem Zweck enthalt es Repliken von Webseiten, die sich typischerweise im Laufe der Zeit geandert haben. Um ein moglichst umfassendes und qualitativ hochwertiges Archiv zu erhalten, sollten daher - im Idealfall - alle Versionen der Webseiten archiviert worden sein. Dies ist allerdings sowohl aufgrund mangelnder Ressourcen als auch technischer Rahmenbedingungen nicht einmal annahernd moglich. Das Archiv besteht daher aus zahlreichen zu unterschiedlichen Zeitpunkten erstellten “Mosaiksteinen”, die mehr oder minder gut zueinander passen. Diese Dissertation fuhrt ein Modell zur Beurteilung der Datenqualitat eines Webarchives ein und untersucht Archivierungsstrategien zur Optimierung der Datenqualitat. Zu diesem Zweck wurden im Rahmen der Arbeit “Einzel-” und “Doppelarchivierungsstrategien” entwickelt. Bei der Einzelarchivierungsstrategie werden die Inhalte fur jede zu erstellende Replik genau einmal gespeichert, wobei versucht wird, das Abbild des sich kontinuierlich verandernden Webs moglichst “unverzerrt” zu archivieren. Die Qualitat einer solchen Einzelarchivierungsstrategie kann dabei durch den Grad der “Verzerrung” (engl. “blur”) gemessen werden. Bei einer Doppelarchivierungsstrategie hingegen werden die Inhalte pro Replik genau zweimal besucht. Dazu teilt man den Archivierungsvorgang in eine “Besuchs-” und “Kontrollphase” ein. Durch die Aufteilung in die zuvor genannten Phasen ist es dann moglich festzustellen, welche Inhalte sich im Laufe des Archivierungsprozess geandert haben. Dies ermoglicht exakt festzustellen, ob und welche Inhalte zueinander passen. Die Gute einer Doppelarchivierungsstrategie wird dazu mittels der durch sie erzielten “Koharenz” (engl. “coherence”) gemessen. Die Archivierungsstrategien basieren auf Vorhersagen uber das Anderungsverhalten der zur archivierenden Inhalte, die als Poissonprozesse mit inhaltsspezifischen Anderungsraten modelliert wurden. Weiterhin wird gezeigt, dass diese Anderungsraten statistisch bestimmt werden konnen. Abschliesend werden Visualisierungstechniken fur die Qualitatsanalyse des resultierenden Webarchivs vorgestellt. Ein voll funktionsfahiger Prototyp demonstriert die Praxistauglichkeit unseres Ansatzes.