Hipokampal yer hücrelerine dayanan pekiştirmeli uzaysal öğrenme: robotik simülasyonları
Reinforcement spatial learning base on hippocampal place cells: robotic simulations
Yazar: ŞÜKRÜ UTKU YAVUZ
Danışman: YRD. DOÇ. DR. SÜHA YAĞCIOĞLU
Hacettepe Üniversitesi / Sağlık Bilimleri Enstitüsü / Biyofizik Ana Bilim Dalı / Biyofizik Bilim Dalı
Derece: Yüksek Lisans, 2006
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Biyofizik = Biophysics ; Nöroloji = Neurology

Özet:
ÖZETYavuz, Ş. U., Hipokampal yer hücrelerine dayanan pekiştirmeli uzaysalöğrenme: Robotik simülasyonları, Hacettepe Üniversitesi Sağlık BilimleriEnstitüsü Biyofizik Programı Yüksek Lisans Tezi, Ankara, 2006. Hipokampus,yapılan uzun dönemli potansiyelizasyon (long-term potentiation), uzaysal öğrenmeve insan amnezi çalışmaları dolayısıyla son 35 yıldır beynin üzerinde en çok çalışmayapılan bölgelerinden biri haline gelmiştir. O'Keefe ve Dostrovsky tarafından 1971(58) yılında sıçanlar ile yapılan hipokampal yer hücreleri çalışmaları, hipokampusunuzaysal öğrenmedeki rolü açısından geniş bir araştırma alanı yaratmıştır. O'Keefe veDostrovsky, özel olarak hazırlanmış arenada serbestçe dolaşan bir sıçanınhipokampusundaki CA1 ve CA3 bölgelerinden aldıkları kayıtlarda, bu bölgedekipiramidal hücrelerin çok büyük bir kısmının arenanın belli bölgelerine spesifik birşekilde ateşleme yaptıklarını görmüşlerdir. Yer hücresi adı verilen bu hipokampalhücreler, sıçanın uzaysal konumunu kodlayan özel piramidal hücrelerdir. Yapılanfizyolojik çalışmaların ardından netleşen hipokampal yapı ile birlikte, O'Keefe veBurgess (16, 17), Arleo ve Gerstner (6), Samsonovich ve McNaughton (70), Sharp(75) gibi araştırmacılar tarafından hipokampusun sayısal modelleme çalışmaları dayürütülmektedir. Bu çalışmada O'Keefe ve Burgess (16, 62) ile Arleo ve Gerstner' in(6) farklı zamanlarda yaptıkları modeller temel alınarak, bir sıçanın dikdörtgen biralan içerisinde serbest dolaşması sonucu yer hücrelerinin bu alanı nasıl kodladığıtartışılmıştır. Ayrıca hipokampal yapı içersindeki algılayıcı hücreler, entorhinalkorteks, subikular korteks ve hedef hücreleri gibi birimlerin uzaysal öğrenmedekifonksiyonları bir bilgisayar simülasyonu ile incelenmiştir. Buna ek olarak,simülasyonda tanımlanan sıçanın, hazırlanan alan içerisine konulan bir hedefe alaniçerisinde herhangi bir noktadan ulaşma performansına model parametrelerinin etkisiirdelenmiştir. Bu tür modeller, klasik sinir ağı çalışmalarına alternatif olarak, gerçekbir beyin bölgesinin modellenmesi bakımından uzaysal öğrenme problemine dahagerçekçi bir çözüm getirmektedirler.Anahtar Kelimeler: hipokampus, hipokampal model, pekiştirmeli öğrenme, uzaysalöğrenme

Abstract:
ABSTRACTYavuz, Ş. U., Reinforcement spatial learning base on hippocampal place cells:Robotic simulations, Hacettepe University, Institute of Health Science, MSthesis of Biophysics, Ankara, 2006 Hippocampus has become one of the mostcommonly studied regions of brain due to the long-term potentiation, spatial learningand human amnesia studies conducted in the last 35 years. The hippocampal placecell studies conducted on rats by O?Keefe and Dostrovsky (58) in 1971 has created awide research area from the perspective of the role of hippocampus in spatiallearning. Through records taken from the CA1 and CA3 regions in the hippocampusof a freely moving rat in a specially prepared arena, O?Keefe and Dostrovsky haveobserved that a vast majority of pyramidal cells in this region have specifically firedat the certain areas of the arena. These hippocampal cells, which are called placecells, are special pyramidal cells encoding the spatial position of the rat. Based on thehippocampal structure clasified as a result of the physiological studies, researchersincluding O?Keefe and Burgess (16, 17), Arleo and Gerstner (6), Samsonovich andMcNaughton (70), and Sharp (75) have been conducting computational modelingstudies on hippocampus. This study takes the models developed by O?Keefe, Burgess(16, 62) and Arleo, Gerstner (6) at different times as a basis, and discusses how theplace cells encode the area while a rat freely scrolls in a rectangular area. This studyfurther examines the functions of units in the hippocampal structure, such asperceptive cells, enthorhinal cortex, subicular cortex and goal cells, in spatiallearning, through computer simulation. In addition, the study analyzes the effects ofmodel parameters on the performance of the rat defined in the simulation, inaccessing a target point from any given point in the specified area. Such modelsintroduce a more realistic solution for the problem of spatial learning from theperspective of modeling a real neural network, as an alternative to tradititionalartificial neural network studies.Keywords: hippocampus, hippocampal modeling, reinforcement learning, spatiallearning