Süreç madenciliğinde tahmine dayalı süreç izleme tekniklerinin kalitesinin açıklanabilir yapay zeka yöntemleri ile değerlendirilmesi
Evaluation of the quality of predictive process monitoring techniques in process mining with explainable artificial intelligence methods
Yazar: SAMET CAN
Danışman: DOÇ. DR. AYÇA KOLUKISA ; DR. ÖĞR. ÜYESİ TUĞBA ERDOĞAN
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Süreç madenciliğinde kullanılan tahmine dayalı süreç izleme (PPM) teknikleri; sürecin sonucu, yürütülecek bir sonraki etkinlik veya kalan çalışma süresi gibi, bir sürecin gelecekteki özelliklerini tahmin etmeyi amaçlamaktadır. Mevcut birçok PPM yaklaşımı, makine öğrenimi (ML) tabanlı tahmin modellerini benimsemektedir. ML modellerinin artan verimliliği ve doğruluğu genellikle artan karmaşıklıkla birleştiğinde, bu modellerin anlaşılabilirliği tehlikeye girer. Açıklanabilir yapay zeka (XAI) yöntemleri, kullanıcılara bir ML modelinin mantık yürütme sürecine ilişkin açıklamalar sağlamak amacıyla ortaya çıkmıştır. Bununla birlikte, PPM kapsamında yapılan seçimler ve kullanılan teknikler de ortaya çıkan açıklamaları etkilemektedir. Bu çalışma, tahmine dayalı süreç izleme alanında açıklanabilir yapay zekanın temel bir anlayışını oluşturmak için literatürü sentezlemektedir. Kullanılan tahmin modellerinin türleri, uygulanan XAI teknikleri ve XAI tekniklerinin ampirik değerlendirme ve geçerliliği analiz edilmektedir. Çalışma, son kullanıcılar için açıklanabilirliğin önemini, metinsel verilerin tahmine dayalı modelleri zenginleştirme potansiyelini ve hem kavramsal hem de ampirik çerçevelerdeki gelişmeleri göstererek PPM'de XAI'nin gelişen yönlerini vurgulamaktadır. Elde edilen içgörüler, daha yorumlanabilir ve güvenilir yapay zeka sistemlerinin tasarlanması için bilgi sağlayabilir ve bu sistemlerin kritik iş süreci yönetimi uygulamalarında benimsenmelerini kolaylaştırabilir. Bu çalışmada, literatür sentezlendikten sonra elde edilen bilgiler ışığında XAI destekli tahmine dayalı süreç izleme adımları oluşturulmuştur. Vaka çalışması kapsamında bu adımlar kullanılarak seçilen bir olay günlüğüne belirlenen tahmine dayalı süreç izleme teknikleri uygulanarak performans metrikleriyle tahminlerin kalitesi ölçülmüş ve belirlenen açıklanabilir yapay zeka yöntemleriyle açıklamalar yapılmıştır. Daha sonra performans metriklerinin sonuçları ve açıklamalarla birlikte, modeller değerlendirilerek hiperparametre optimizasyonu ile gerekli iyileştirmeler yapılmış ve elde edilen sonuçlar paylaşılmıştır. Bu çalışma, tahmine dayalı süreç izleme modellerinin hazırlanması, eğitilmesi, değerlendirilmesi ve XAI yöntemleriyle açıklamaların oluşturulması konularında kapsamlı bir bilgi sağlamaktadır.

Abstract:
Predictive process monitoring (PPM) techniques used in process mining aim to predict future attributes of a process, such as process outcome, next activity to be executed, or remaining work time. Many existing PPM approaches utilize machine learning (ML) based prediction models. The increasing efficiency and accuracy of ML models is often combined with increasing complexity, compromising the understandability of these models. Explainable artificial intelligence (XAI) methods have emerged to provide users with explanations of the reasoning process of an ML model. However, the choices made and the techniques used within the scope of PPM also affect the resulting explanations. This study synthesizes the literature to construct a foundational understanding of explainable artificial intelligence in the field of predictive process monitoring. The types of predictive models used, XAI techniques applied, and the empirical evaluation and validation of XAI techniques are analyzed. The study highlights the evolving aspects of XAI in PPM, demonstrating the importance of explainability to end-users, the potential of textual data to enrich predictive models, and advancements in both conceptual and empirical frameworks. The insights obtained can inform the design of more interpretable and trustworthy artificial intelligence systems and facilitate the adoption of these systems in critical business process management applications. In this study, XAI supported predictive process monitoring steps were derived in the light of the information obtained after the literature was synthesized. Within the scope of the case study, by applying the determined predictive process monitoring techniques to a selected event log using these steps, the quality of the predictions was measured with performance metrics and explanations were made with the determined explainable artificial intelligence methods. Then, together with the results of the performance metrics and explanations, the models were evaluated and necessary improvements were made with hyperparameter optimization and the obtained results were shared. This study provides comprehensive information on the preparation, training, evaluation of predictive process monitoring models and the creation of explanations with XAI methods.