Bilişsel robotlarda yaşam boyu deneyimsel öğrenme ile hata kotarma
Failure recovery by long-term experience-based learning for cognitive robotics
Yazar: SERTAÇ KARAPINAR
Danışman: YRD. DOÇ. DR. SANEM SARIEL TALAY
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2013
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilişsel öğrenme = Cognitive learning ; Robot sistemleri = Robot systems ; Robotik = Robotics ; Yapay zeka = Artificial intelligence

Özet:
Bilişsel bir robot hedeflerini gerçekleştirebilmek için gerekli olan eylemler dizisini planlama ile üretebilir. Ancak robot, planda yer alan eylemleri yürütürken iç ve dış etkenlerden dolayı çeşitli hatalarla karşılaşabilir. Gürbüz görev yürütme; sürekli planlama, yürütme, gözlemleme, çıkarsama ve öğrenme süreçlerinin birbirleriyle entegre olarak çalışmasını gerektirir. Bu tez çalışmasında, eylem yürütme deneyimleri göz önüne alınarak görev yürütmede gürbüzlüğün nasıl sağlanabileceği araştırılmıştır. Hataları kotarmak için, bilişsel robotlar için bir gürbüz planlama sistemi önerilmiştir. Bu sistemde, görevlerin başarıyla yürütülebilmesi için planlama, yürütme, gözlemleme ve öğrenme süreçleri bir araya getirilmiştir.Sistemin ilk adımı, planlama ile üst seviyede bir plan üretmektir. Önerilen yaklaşımda ileri zincir yöntemli, zamansal bir planlayıcı olan TLPlan kullanılmıştır. Bu planlayıcı, tekli ve çoklu robot sistemlerinde hem süreli hem de anlık eylemler için plan üretebilmektedir. TLPlan; tanım kümesi bilgisini (operatorler, olgular vs.), mevcut ortam durumunu, verilen hedefleri ve gürbüz görev yürütme için gereken geçerli planları üretmek amacıyla öğrenilen hipotezleri kullanır. Verilen durum için geçerli bir plan üretildiğinde, bu plan içinde yer alan her bir eylemin sırasıyla yürütülebilmesi için robotun modelinde saklanır. Yürütme süreci robotun eyleyicilerini (actuator) ve ortam etkileyicilerini (effector) kontrol ederek eylemleri sırasıyla yürütür.Yürütme gözlemleme süreci güncellenen durumların ve olası hataların kontrol edilebilmesi için, plan yürütülürken sürekli olarak gözlenmesini sağlar. Eğer gözlenen durum beklenen bir durum değil ise, hata oluştuğuna karar verilir, yeniden planlama ve çıkarım mekanizmaları devreye sokulur. Hatanın farkedilmesiyle birlikte güncellenen ortam durumuna göre yeniden planlama yapılır ya da öğrenme süreci kullanılarak yeni hipotezler oluşturulur.Öğrenme süreci; robotun eylemler, eylemlerin parametreleri ve ortamda bu eylemler tarafından etkilenen varlıklar hakkında kazandığı tecrübelere dayanarak kendini ortama adapte etmesini sağlar. Bu süreç, her eylemin yürütülmesi sonucunda etkinleştirilerek hipotez üretilmesini sağlar. Böylece her eylem için başarılı ve başarısız olduğu durumlar ile ilgili hipotezler üretilerek, bu eylemlerin daha sonra tekrarlanmaları durumunda robotun deneyimlerinden faydalanması sağlanır. Ayrıca, hata sezildiğinde ve yeniden planlama yapmanın mümkün olmadığı durumlarda da alternatif planlar üretilebilmesi için yine öğrenme sürecinin çıktılarından faydalanılır.Problemin çözümü için kullanılan yaklaşım yaşam boyu deneyimsel öğrenmeye dayanmaktadır. Hem yürütme modelleri hem de hata durumları için hipotez üretmek amacıyla Tümevarımsal Mantıksal Programlama (Inductive Logic Programming) yöntemi kullanılmıştır. ILP hipotezleri yüklem mantığı bilgi gösterim dili ile temsil etmektedir. Böylece üretilen hipotezler çıkarsama ve planlama birimleri tarafından kolaylıkla kullanılabilmektedir. Ayrıca ILP ile bilgi birikimi (background knowledge) kullanılabileceğinden daha gelişmiş hipotezler üretilebilir. Kısmi olarak gözlemlenen dünya durumları bu kurallar ile kolaylıkla temsil edilebilir. ILP'nin bütün bu avantaj- ları, nitelik tabanlı öğrenme yöntemlerine karşı üstünlük kurmasını sağlar. Öğrenme ile elde edilen deneyimler robotu gelecek kararlarında yönledirir. ILP'nin başarımı hem nitelik tabanlı öğrenme yöntemleri ile karşılaştırılarak hem de Pioneer 3DX robot üzerinde kullanılarak analiz edilmiştir. Sonuçlar, hata durumları için üretilen hipotezlerin robotun gelecek görevlerinin güvenliğini sağladığını göstermiştir.

Abstract:
A cognitive robot should possess abilities to solve problems and plan to attain its goals, reason about dynamic cases and learn from experience as intelligent systems in nature. Problem solving and planning is crucial for achieving the given objectives. Automated planners are commonly used for finding a coarse of actions for a robot to achieve its goals. These planners usually take the domain information (initial/goal states and operators corresponding to real-world actions) to construct a plan. During the execution of actions in the constructed plan, a robot may face several types of failuressome of which may be recovered by replanning. However, there may be gaps between the real-world representation of the domain and its symbolic counterpart. Especially when the real outcomes of actions are not completely represented, a planner may not beable to construct a valid plan in case of failures. Belief revision and reasoning tools are necessary to deal with these type of issues. Furthermore, the robot should be equippedwith learning capabilities for the efficiency of its future decisions.The main focus of this research is developing a robust planning framework against real-world failures. We propose a continual planning, execution, monitoring and learning framework for cognitive robots. The framework combines five main processes, namely, Planning, Scene Interpretation, Execution, Execution Monitoring and Learning for robust execution of tasks. All these processes have access to the Knowledge Base (KB). KB maintains the domain knowledge, the world state and the goals (for the planning problem), the plan and the gained experience in terms of the generated hypotheses. These processes use sensor and motor interfaces to sense and act, respectively.We investigate action execution failures and propose a method to derive hypotheses through learning. There are two types of hypotheses derived from execution monitoring. The first type corresponds to hypotheses on safe action types in differentcontexts, and the second one to hypotheses for failure cases. The former type of hypotheses are used to update the planning domain to guide future planning processes. Therefore, the robot gains experience on both correct execution types of actions andwhen executions fail. These hypotheses are framed by the observed features of the objects in interest and the relevant world states. Since the relevant facts in the domain are also represented in a hypothesis, both generalized and specialized conclusions can be made.Our approach is based on a lifelong experience-based learning process. We use Inductive Logic Programming as the learning method to frame hypotheses for both efficient execution types and failure situations. ILP learning provides first-order logical representations of the derived hypotheses that are useful for reasoning and planning processes. Furthermore, this approach can use background knowledge to represent more advanced rules. Partially specified world states can also be easily represented in these rules. All these advantages of ILP make this approach superior to the attribute-based learning approaches. Experience gained through incremental learningis used as a guide to the future decisions of the robot for robust execution. Failure situations of actions on specific contexts are represented by hypotheses that are, then, used to compute the costs. Adaptive cost computations for the failed actions make the overall system robust by blocking the selection of actions that may fail. The performance of the ILP process is analysed by setting up several experiment environments including real world and simulation experiments. The real world experiments are performed on a Pioneer 3DX robot. Hypotheses produced for the real world experiments by both the original and improved ILP are compared and discussed. In the simulation experiments, two different cases are considered. In the first case, random observations are generated for predefined hypotheses, and then, the performance of the learning system is analysed by dividing these observations into training and test sets. The results of ILP are compared to that of the attributed-based learners, ID3 and Bayes Network classifiers in the simulation experiments. In the second analysis, the powerful features of the ILP such as background knowledge usage are investigated. The results reveal that the ILP is better than attribute-based learners in several ways, and the hypotheses framed for failure cases are sound and ensure safety in future tasks of the robot.