Görsel korteks aktivitesinden derin öğrenme yöntemi ile görüntünün tahmin edilmesi
Image prediction using deep learning methods from visual cortex activity
Yazar: MUSTAFA TURNA
Danışman: DR. ÖĞR. ÜYESİ ABDULLAH OĞUZ KIZILÇAY
Zonguldak Bülent Ecevit Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Derin öğrenme = Deep learning ; Evrişimli sinir ağları = Convolutional neural networks ; Görsel korteks = Visual cortex ; Yapay zeka = Artificial intelligence

Özet:
Tez çalışmasında derin öğrenme yöntemi ile insan beyninin görsel korteks verisi kullanılarak kişinin gördüğü doğal fotoğraflar tahmin edilmeye çalışılmıştır. 
Çalışmada kullanılan veri seti detaylı incelenmiş, ardından gerekli ön işlemeye tabii tutulmuştur. Veri setinin az sayıda örneklem barındırması derin öğrenme modelinin hızlı bir şekilde aşırı öğrenmesine sebep olmuştur. Bundan dolayı öğrenme aktarımı yöntemi tercih edilerek bir evrişimsel sinir ağı modeli oluşturulmuştur. 
Beyin aktivitesi esnasında tepkileri kaydedilen voksellerin her birinin, oluşturulan modelin tahmin başarısını artırmaya hizmet etmediği görülmüştür. Bundan dolayı yüksek sinyal gürültü oranına sahip ve doğru fotoğrafın tahminine katkıları daha fazla olan vokseller tespit edilmeye çalışılmıştır. Bu işlem iki aşamalı bir yol izlenerek gerçekleştirilmiştir. Bu aşamalardan ilki, mükerrer şekilde, rastgele onar vokselden oluşan gruplar oluşturularak, bu gruplardan tahmin sonucu daha yüksek olan vokseller tespit edilmiştir. Ardından başarılı bulunan voksellerin üç boyutlu koordinatları çıkarılarak, poziyon olarak yoğunluğun olduğu bölgelerden çok uzakta yer alan vokseller ayıklanarak çalışmada kullanılacak vokseller tespit edilmiştir. 
Oluşturulan derin öğrenme modeli regresyon yöntemi ve kayıp fonksiyonu olarak da ortalama kare hatası metodu kullanılarak eğitilmiştir. Ardından doğrulama aşamasında tahmin edilen değerler, 120 adet fotoğrafın oluşturduğu gerçek beyin aktivitesi değeri ile r2 skoru kullanılarak karşılaştırılmıştır. Oluşturulan modelin bu değerin en düşük olduğu beyin aktivitesine sebep olan fotoğrafı tahmin ettiği kabul edilerek toplam doğru tahmin oranı çıkarılmıştır.
Sonuç olarak rastlantısal doğru tahmin oranı %0.8 iken, derin öğrenme modeli yüz yirmi adet fotoğrafın beşte birini doğru tahmin ederek beyinin görsel korteksteki aktivitesinden görülen fotoğrafın tahmini yapabildiği gösterilmiştir.

Abstract:
In this thesis, an attempt was made to predict the natural images seen by an individual using the visual cortex data from the human brain through deep learning methods. The dataset used in the study was examined in detail and then subjected to necessary preprocessing. The small number of samples in the dataset led to rapid overfitting of the deep learning model. Therefore, transfer learning was utilized to create a convolutional neural network model.
It was observed that all voxels recorded during brain activity did not contribute to improving the prediction accuracy of the model. As a result, voxels with high signal-to-noise ratios and greater contributions to predicting the correct image were identified. This was achieved through a two-step process. The first step involved creating groups of ten randomly selected voxels multiple times to identify voxels with higher prediction results. Subsequently, the three-dimensional coordinates of the successful voxels were extracted, and voxels located far from regions of high density were filtered out to determine the voxels to be used in the study.
The created deep learning model was trained using regression methods and the mean squared error as the loss function. During the validation phase, the predicted values were compared with the actual brain activity values of 120 images using the r² score. The model's accuracy was assessed based on the prediction of the image causing the lowest brain activity, and the overall correct prediction rate was calculated.
As a result, while the random correct prediction rate was 0.8%, the deep learning model correctly predicted one-fifth of the images out of the 120, demonstrating that it could predict the image observed from the visual cortex activity of the brain.