title: Formulating and Applying Quality Criteria in Forensic Live Data Acquisition
title: Definition und Anwendung von Qualitätskriterien bei der forensischen Datenakquise laufender IT-Systeme
Creators: name: Ottmann, Jenny
Publisher: name: Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Year: 2024

description: This thesis aims at defining criteria for assessing the quality of digital forensics live data acquisition and their application in evaluation methods. Since digital devices have become widely used, digital evidence is frequently acquired in investigations. Tools that acquire such data from devices ease the work of investigators. Of course, there are requirements for forensic processes. For example, a tool has to be scientifically verified to work as intended. Unfortunately, a problem arises since a tool’s development process and inner workings are often opaque from the perspective of its users, and the quality of the produced data can be questioned. However, black box tool tests facilitate assessing their aptness for forensic investigations. A special case of data acquisition is live data acquisition which enables access to data lost once a device has been turned off. Testing this type of data acquisition poses unique challenges as the contents of the targeted memory might change while they are copied. Therefore, multiple factors influence the quality of the acquired data. Prior research defined quality criteria for main memory acquisition that capture these factors. Since main memory is one type of live data acquisition, we base our investigation of suitable quality criteria on these definitions. By re-examining the criteria and related work, we extend the original definitions (correctness, causal consistency, and restrictive integrity) by three new ones: permissive integrity, instantaneous consistency, and quasi-instantaneous consistency. Permissive integrity is related to the authenticity of the data. It enables the observation of content changes between the acquired copy of memory and its original contents at a predefined time before the acquisition. With instantaneous consistency, we define the ideal case of memory acquisition; all contents are copied in an instant, i.e., at the same time. As instantaneous consistency is often not achievable, we approximate the criterion with quasi-instantaneous consistency. This criterion is met when the memory dump’s contents, though copied over time, match a hypothetical copy made instantaneously. We argue that the original and our new criteria, apply to all types of live data acquisition from block-based storage. We devise observation methods for the criteria on a theoretical level and apply them in practical evaluations. Prior research exists to evaluate causal consistency, one of the original criteria. We introduce a new method to measure causal inconsistencies precisely without relying on the availability of the tested tool’s source code. We apply this method in two evaluations on Linux and Windows, showing that inconsistencies are prevalent. Additionally, we develop an observation method for quasi-instantaneous consistency. In our evaluation of quasi-instantaneous consistency for main memory, we demonstrate that the method allows locating inconsistencies exactly. Thereby, the influence of the physical memory layout on inconsistencies can be investigated. With a different implementation, we apply the same observation method to evaluate the quasi-instantaneous consistency of disk images of file systems under load. The results show that inconsistencies are also common for this type of data acquisition. Lastly, we evaluate the correctness and the permissive integrity of file system contents acquired using the local backup mechanisms on Android and iOS. In this evaluation, we face a restricted evaluation environment because of the security features of smartphones. Therefore, the evaluation method refrains from observing the criteria on the devices. Instead, we rely on multiple copies of the targeted file system contents. The analysis results show how the examination of observed differences between the copies leads to a better understanding of acquisition methods. Overall, with the developed evaluation methods and examples of their application, we ease the testing of digital forensics live data acquisition. The usage of formal quality criteria leads to more transparent evaluation methods that can be formally verified. Consequently, evaluation results are more reliable. Additionally, if multiple testing entities apply the same criteria, their evaluation results become more comparable, easing the distribution of the testing workload on (independent) testers.
description: Mit dieser Dissertation sollen Kriterien für die Bewertung der Qualität von forensicher Live-Datenakquise definiert und diese in praktischen Evaluationen angewendet werden. Heutzutage werden bei Ermittlungen häufig digitale Beweismittel relevant weshalb Werkzeuge, die solche Daten von Geräten akquirieren, die Arbeit der Ermittler erleichtern. Einerseits gibt es Anforderungen an forensische Verfahren. Zum Beispiel müssen Softwaretools wissenschaftlich auf eine erwartungsgemäße Funktionsweise überprüft werden. Andererseits sind Entwicklungsprozess und Innenleben eines Tools aus Sicht der Nutzer oft undurchsichtig. Deshalb kann die Qualität der akquirierten Daten in Frage gestellt werden. Blackboxtests ermöglichen jedoch die Beurteilung der Eignung eines Tools für forensische Untersuchungen. Live-Datenakquise, Datenakquise von laufenden Systemen, die den Zugriff auf Daten ermöglicht, die auf ausgeschalteten Geräten nicht verfügbar sind, ist ein Sonderfall der Datenakquise. Tests für diese Form der Datenakquise zu konzipieren ist besonders herausfordernd, da sich der Inhalt des Zielspeichers während des Kopiervorgangs ändern kann. Daher beeinflussen mehrere Faktoren die Qualität der erfassten Daten. Eine vorausgegangene Arbeit erfasste diese Faktoren in formal definierten Qualitätskriterien für die Akquise von Hauptspeicherinhalten. Da Hauptspeicherakquise ein Sonderfall von Live-Datenakquise ist, stützen wir unsere Untersuchung geeigneter Qualitätskriterien auf diese Definitionen. Nach einer erneuten Auseinandersetzung mit den Kriterien und verwandten Arbeiten erweitern wir die ursprünglichen Definitionen (Korrektheit, kausale Konsistenz und restriktive Integrität) um drei weitere: Permissive Integrität, instantane Konsistenz und quasi-instantane Konsistenz. Permissive Integrität bezieht sich auf die Authentizität der Daten. Das Kriterium ermöglicht die Beobachtung von Inhaltsänderungen zwischen der erstellten Speicherkopie und dem ursprünglichen Inhalt des Speichers. Instantane Konsistenz repräsentiert den Idealfall der Speicherakquise; alle Inhalte werden in einem Augenblick, d.h. gleichzeitig, kopiert. Da instantane Konsistenz oft nicht erreicht werden kann, nähern wir uns dem Kriterium mit quasi-instantaner Konsistenz an. Dieses Kriterium ist erfüllt, wenn der Inhalt des Speicherabbilds, obwohl er im Laufe der Zeit kopiert wurde, mit einer hypothetischen Kopie übereinstimmt, die quasi-instantan konsistent ist. Wir sind davon überzeugt, dass die ursprünglichen und unsere neuen Kriterien für alle Arten der Live-Datenakquise aus blockbasierten Speichern gelten. Wir entwickeln Evaluationsmethoden für die Kriterien auf theoretischer Ebene und wenden sie in praktischen Evaluationen an. Es gibt bereits Forschungsarbeiten zur Bewertung von kausaler Konsistenz, einem der ursprünglichen Kriterien. Allerdings führen wir eine neue Methode ein, um kausale Inkonsistenzen präzise zu messen, ohne auf die Verfügbarkeit des Quellcodes des getesteten Tools angewiesen zu sein. Wir wenden diese Methode in zwei Evaluationen unter Linux und Windows an und zeigen, dass Inkonsistenzen weit verbreitet sind. Darüber hinaus entwickeln wir eine Beobachtungsmethode für quasi-instantane Konsistenz. Wir zeigen in unserer Evaluation der quasi-instantanen Konsistenz von Hauptspeicherinhalten, dass die Methode eine genaue Lokalisierung von Inkonsistenzen ermöglicht. Dabei kann auch der Einfluss des physikalischen Speicherlayouts auf Inkonsistenzen untersucht werden. Wir wenden dieselbe Beobachtungsmethode, integriert in einen Dateisystemtreiber, an, um die quasi-instantane Konsistenz von Dateiinhalten, die unter Last akquiriert werden, zu bewerten. Die Ergebnisse zeigen, dass Inkonsistenzen auch bei dieser Art der Datenakquise üblich sind. Schließlich evaluieren wir die Korrektheit und die permissive Integrität von Dateien, die mit den lokalen Backup-Mechanismen auf Android und iOS kopiert wurden. Bei dieser Evaluation stützen wir uns auf mehrere Kopien der gesicherten Dateisysteminhalte, da die Beobachtung der Kriterien auf den Geräten durch die Sicherheitsmaßnahmen von Smartphones erschwert wird. Die Analyseergebnisse zeigen, wie solche Evaluationen zu einem besseren Verständnis der Akquisemethoden führen können. Insgesamt erleichtern wir mit den entwickelten Auswertungsmethoden und Beispielen ihrer Anwendung das Testen von Tools zur Live-Datenerfassung in der digitalen Forensik. Die Verwendung formaler Qualitätskriterien führt zu transparenten Evaluationsmethoden, die formal verifiziert werden können. Dadurch werden die Evaluationsergebnisse zuverlässiger. Wenn dieselben Kriterien in Tests verwendet werden, wären Testergebnisse zudem besser vergleichbar, was das Aufteilen des Testaufwands auf (unabhängige) Tester vereinfacht.