Konuşmadan rapora: Adli otopsi raporu için makine öğrenimi destekli konuşmayı metne uyarlamak
From speech to report: Tailoring machine learning-powered speech-to-text for the forensic autopsy report
Yazar: SERHAT ERDOĞAN
Danışman: PROF. DR. NERGİS CANTÜRK ; DOÇ. DR. SİNAN TOKLU
Ankara Üniversitesi / Sağlık Bilimleri Enstitüsü / Disiplinlerarası Adli Bilimler Ana Bilim Dalı / Kriminalistik Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Adli Tıp = Forensic Medicine ; Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Adli otopsi, ani, beklenmedik, şüpheli veya açıklanamayan ölüm vakalarında genellikle yasal makamlar tarafından zorunlu kılınan, tıbbi ve hukuki amaçlara yönelik olarak yürütülen önemli bir ölüm sonrası incelemedir. Bu süreç, doğal olmayan ölümler (cinayet, intihar, kazalar), şüpheli durumların olduğu vakalar ve tıbbi ihmal nedeniyle kovuşturmanın ortaya çıktığı tıbbi tedavilerle ilgili ölümler gibi çeşitli senaryoları kapsamaktadır.

Bu tez, adli otopsilerin verimliliğini artırmak amacıyla teknolojiden yararlanmayı amaçlamaktadır. Özellikle, konuşmayı metne dönüştürme teknolojisini kullanan bir yazılım uygulamasının geliştirilmesi önerilmektedir. Bu teknoloji, adli tıp uzmanlarının otopsi sırasında söylediklerini metin haline getirmeyi hedeflemektedir. Ardından, uygulama, kapsamlı bir adli otopsi raporu oluşturmak için makine öğrenimi ve doğal dil işleme tekniklerinden faydalanmaktadır.

Bu projede, konuşmayı metne dönüştürme sürecini otomatikleştirerek ve makine öğrenimi ile doğal dil işleme yöntemlerini kullanarak, adli otopsi raporlarının yazım sürecini hızlandırmak amaçlanmıştır. Bu yaklaşım, adli tıp uzmanlarının iş akışını kolaylaştırmanın yanı sıra zaman tasarrufu sağlayarak daha verimli ve kapsamlı adli tıp araştırmalarına katkıda bulunmayı hedeflemektedir.

Yapılan deneylerde FastText ve BERT modellerinin ayrı ayrı ve birlikte kullanıldığı durumlarda elde edilen sonuçlar, WER (Word Error Rate) kriteri ile değerlendirilmiştir. Konuşmayı metne dönüştürme teknolojisi ile transkribe edilen adli otopsi ses dosyasının WER oranının %34 olduğu, ancak FastText ve BERT modelleri birlikte kullanıldığında bu oranın %22'ye düştüğü gözlemlenmiştir. Böylece önerilen model, Konuşmadan Metne teknolojisinin kelime hata oranında yaklaşık %35'lik bir iyileşme sağlamıştır.

Bu çalışmada elde edilen sonuçlar, adli otopsi rapor yazımında konuşmayı metne dönüştürme ve makine öğrenimi modellerinin etkinliğini ve hibrit modelin performansa katkısını göstermektedir.

Abstract:
Forensic autopsy is an important post-mortem examination carried out for medical and legal purposes, usually mandated by legal authorities in cases of sudden, unexpected, suspicious, or unexplained death. This process covers a variety of scenarios such as unnatural deaths (homicide, suicide, accidents), cases with suspicious circumstances, and deaths related to medical treatments where prosecution for medical negligence arises.

This thesis aims to utilize technology to improve the efficiency of forensic autopsies. In particular, the development of a software application utilizing speech-to-text transcription technology is proposed. This technology aims to transcribe what forensic experts say during an autopsy. Then, the application utilizes machine learning and natural language processing techniques to generate a comprehensive forensic autopsy report.

The aim of this project is to speed up the writing process of forensic autopsy reports by automating the speech-to-text transcription process and using machine learning and natural language processing methods. This approach aims to contribute to more efficient and comprehensive forensic investigations by facilitating the workflow of forensic experts and saving time.

In the experiments, the results obtained when FastText and BERT models were used separately and together were evaluated with the WER (Word Error Rate) criterion. It was observed that the WER rate of the forensic autopsy audio file transcribed with speech-to-text technology was 34%, but this rate decreased to 22% when FastText and BERT models were used together. Thus, the proposed model provided an improvement of approximately 35% in the word error rate of Speech-to-Text.

The results obtained in this study show the effectiveness of speech-to-text and machine learning models in forensic autopsy report writing and the contribution of the hybrid model to the performance.