Sürücü davranışlarının modellenmesine bilişsel mimari yaklaşımı
A cognitive architecture approach for modelling drivers' behavior
Yazar: GÖKHAN YENİKAYA
Danışman: YRD. DOÇ. DR. HALİL YEŞİLÇİMEN
Uludağ Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2006
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mühendislik Bilimleri = Engineering Sciences
Dizin: Davranışsal modelleme = Behavioral modelling ; Yapay sinir ağları = Artificial neural networks ; Yapay zeka = Artificial intelligence

Özet:
Geçen yüzyılın sonlarına dogru ulasım teknolojilerindeki hızlıgelismeler, can veya mal kaybına yol açan trafik kazaları ve zaman kaybına yolaçan trafik sıkısıklıkları seklinde sorunları da beraberinde getirmistir. statistikselolarak bakıldıgı zaman bu sorunların büyük oranda insan kaynaklı hatalardanortaya çıktıgı görülmektedir. nsandan kaynaklı sorunların çözümünde, otomobilkullanma esnasında sürücünün üzerinden yükü alacak sürücü yardımcısistemlerinin olusturulması fikri arastırmacılar tarafından büyük ilgi görmüs vebu konuda yogun çalısmalar gerçeklestirilmistir.Sürücü yardımcı sistemlerinin olusturulmasında en önemli asama,sürücü davranısının modellenmesi asamasıdır. Bilissel mimari insandavranısının modellenmesi için gelecek vaat eden en önemli seçeneklerden biridurumundadır, fakat araç sürme problemine uygulanmasıyla ilgili literatüroldukça kısıtlıdır. Bu tez çalısmasının bir katkısı, araç sürme davranısınınmodellenmesinde, bilissel mimariyi temel alan bir yöntemin önerilmesidir.Önerilen mimarinin çekirdeginde, deneyimler yoluyla sürücü davranıslarınıögrenmeye imkan saglayan pekistirmeli ögrenme yöntemi, pekistirmeli ögrenmeyöntemi olarak da Q-Ögrenme yöntemi kullanılmıstır. Literatür taramasındastandart Q-Ögrenme tekniklerinin insan davranıslarının modellenmesindekullanılmasının, insan davranıslarının sürekli olmasıyla durum uzayınınbüyüdügü, içinde bulundugu durumun dinamik oldugu ve insan davranısları içinbir pekistirme fonksiyonu olusturmanın oldukça zor oldugu durumlardaproblemlere sahip oldugu görülmüstür. Bu tez çalısmasının bir diger katkısı,süreklilik ve büyük durum uzayı probleminin çözümü için alt görevlerin otomatikolarak belirlenmesi tekniginin gelistirilmesi, dinamik ortamlarda çalısabilmeninsaglanması için bir hafıza yapısı eklenmesi ve pekistirme fonksiyonunungözlenen sürücüden otomatik olarak çıkarılmasının saglanması, ve buyöntemleri içeren gelistirilmis Q-Ögrenme yöntemini kullanan bilissel mimaritemelli bir modelin olusturulmasıdır.Anahtar Kelimeler: Araç Sürücü Modelleme, Modelleme, BilisselMimari, Pekistirmeli Ögrenme, Q-Ögrenme, Seçenekler, Otomatik Alt GörevBelirleme

Abstract:
Near the end of the last century, the rapid developments intransportation technologies lead the traffic accidents which cause the loss ofhuman or assets and increase the traffic congestions which cause the loss oftime. Statistically, it is obvious that the most important source of these problemsare human-centered. To solve these problems, researchers have focused ondriver assistance systems which support human while driving and increasinglyvigorous efforts have been put in this area.The most important stage in developing driver assistance systems ismodelling the driver?s behaviour. Cognitive architecture is a very promisingappproach in modelling human behavior. But for modelling drivers? behaviorbased cognitive architecture, there exists very limited literature. In this thesis,for modelling drivers? behavior, a method based on cognitive architecture isproposed. In the core of the proposed method, reinforcement learning whichallows learning with experience, is used. Q-Learning method as thereinforcement learning method is implemented in the architecture. Standard QLearningmethods suffer from large state sets rising from continual operation,from the dynamic operating environment, and from providing a reinforcementfunction which seems as a hard process for human behavior. In this thesis, forsolving the continual operation problem a novel sub-goal discovery algorithm isintroduced, for tackling dynamic environments usage of history memory isimplemented and a method for automatically extracting the reinforcementfunction is inserted. Using the modified Q-Learning structure, a model based oncognitive architecture is developed. The proposed method is testedexperimentally and good results have been obtained.Keywords: Drivers? Behavior Modelling, Cognitive Architecture, ReinforcementLearning, Q-Learning, Options, Automatically Subgoal Discovery, ReverseReinforcement Learning,