Process-Oriented Analysis and Validation of Multi-Agent-Based Simulations: Concepts and Case Studies

In multi-agent-based simulation (MABS) the behavior of individual actors is modelled in large detail. The analysis and validation of such models is rated as difficult in the literature and requires support by innovative methods, techniques, and tools. Problems include the complexity of the models, the amount and often qualitative representation of the simulation results, and the typical dichotomy between microscopic modeling and macroscopic observation perspectives. In recent years, the application of data mining techniques has been increasingly propagated in this context. Data mining might, to some degree, bear the potential to integrate aspects of automated, formal validation on the one hand and explorative, qualitative analysis on the other hand. A promising approach is found in the field of process mining. Due to its rooting in business process analysis, process mining shares several process- and organization-oriented analysis perspectives and use cases with agent-based modeling. On the basis of detailed literature research and practical experiences from case studies, this thesis proposes a conceptual framework for the systematic application of process mining to the analysis and validation of MABS. As a foundation, agent-oriented analysis perspectives and simulation-specific use cases are identified and embellished with methods, techniques, and further results from the literature. Additionally, a partial formalization of the identified analysis perspectives is sketched by utilizing the concept of process dimensions by Rembert and Ellis as well as the MAS architecture Mulan by Rolke. With a view to future tool support the use cases are broadly related to concepts of scientific workflow and data flow modeling. Furthermore, simulation-specific requirements and limitations for the application of process mining techniques are identified as guidelines. Beyond the conceptual work, process mining is practically applied in two case studies related to different modeling and simulation approaches. The first case study integrates process mining into the model-driven approach of Petri net-based agent-oriented software engineering (PAOSE). On the one hand, process mining techniques are practically applied to the analysis of agent interactions. On the other hand, more general implications of combining process mining with reference net-based agent modeling are sketched. The second case study starts from a more code-centric MABS for the quantitative analysis of different logistic strategies for city courier services. In this context, the practical utility and applicability of different process mining techniques within a large simulation study is evaluated. Focus is put on exploratory validation and the reconstruction of modularized agent behavior. In der agentenbasierten Simulation wird das Verhalten individueller Akteure detailliert im Modell abgebildet. Die Analyse und Validierung dieser Modelle gilt in der Literatur als schwierig und bedarf der Unterstutzung durch innovative Methoden, Techniken und Werkzeuge. Probleme liegen in der Komplexitat der Modelle, im Umfang und der oft qualitativen Darstellungsform der Ergebnisse sowie in der typischen Dichotomie zwischen mikroskopischer Modellierungs- und makroskopischer Beobachtungssicht begrundet. In den letzten Jahren wurde in diesem Zusammenhang zunehmend der Einsatz von Techniken aus dem Data Mining propagiert. Diese bergen in gewisser Weise das Potenzial, Aspekte der automatisierten, formalen Validierung mit denen der explorativen, qualitativen Analyse zu vereinen. Einen vielversprechenden Ansatz bietet das sogenannte Process Mining, welches aufgrund seiner Nahe zur Geschaftsprozessmodellierung mit der agentenbasierten Modellierung vergleichbare prozess- und organisationsorientierte Modellsichten (Perspektiven) und Anwendungsfalle aufweist. Ziel der vorliegenden Arbeit ist es, auf Basis umfangreicher Literaturrecherche und in Fallstudien gesammelter Erfahrungen ein konzeptionelles Rahmenwerk fur den systematischen Einsatz von Process Mining zur Analyse und Validierung agentenbasierter Simulationsmodelle vorzuschlagen. Als Grundlage werden agentenspezifische Analyseperspektiven und simulationsspezifische Anwendungsfalle identifiziert und durch Methoden, Techniken und weitere Ergebnisse aus der Literatur ausgestaltet. Daruber hinaus wird ansatzweise eine Teilformalisierung der Analyseperspektiven unter Verwendung des Prozessdimensionen-Konzepts nach Rembert und Ellis sowie der auf Referenznetzen basierenden Architektur Mulan nach Rolke angestrebt. Die Anwendungsfalle werden mit Blick auf eine mogliche Werkzeugunterstutzung mit Konzepten der wissenschaftlichen Workflow- und Datenflussmodellierung in Beziehung gesetzt und durch die Identifikation simulationsspezifischer Anwendungsrichtlinien fur das Process Mining erganzt. Neben der konzeptionellen Arbeit wird der Einsatz von Process Mining praktisch in unterschiedlichen Modellierungs- und Simulationsansatzen erprobt. Die erste Fallstudie integriert Process Mining konzeptionell und technisch in den modellgetriebenen Ansatz der Petrinetzbasierten agentenorientierten Softwareentwicklung (PAOSE). Dabei wird einerseits der praktische Einsatz von Process Mining-Techniken zur Interaktionsanalyse von Agenten beschrieben. Andererseits zeigt die Studie generelle Implikationen der Kombination von Process Mining und Referenznetz-basierter Agentenmodellierung auf. Ausgangspunkt der zweiten Fallstudie ist eine eher Code-zentrierte agentenbasierte Simulation zur quantitativen Analyse verschiedener Logistikstrategien fur Stadtkurierdienste. Im Rahmen dieser Fallstudie werden Process Mining-Techniken im Hinblick auf Anwendbarkeit und Nutzen fur eine grosen Simulationsstudie untersucht. Dabei steht die explorative Validierung und die Rekonstruktion modularisierten Agentenverhaltens im Vordergrund.