Pekiştirmeli öğrenme yöntemleri kullanılarak bir akıllı evin enerji yönetimi
Energy management of a smart home by using reinforcement learning methods
Yazar: HASAN İZMİTLİGİL
Danışman: PROF. DR. ABDURRAHMAN KARAMANCIOĞLU
Eskişehir Osmangazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Elektrikli ev aletleri = Electrical home equipments ; Yapay zeka ve makine öğrenmesi dersi = Artificial intelligence and machine learning course

Özet:
Ev enerji yönetim sistemlerinin kullanıcıları, haberleşme teknolojilerindeki ve akıllı ölçüm altyapılarındaki gelişmeler sayesinde gerçek zamanlı enerji tüketimlerini planlamaktadır. Bu tez çalışmasında, akıllı ev sisteminin optimum enerji tüketimini kontrol etmek için modelden bağımsız pekiştirmeli öğrenme algoritmalarını (Q-Öğrenme, Derin Q-Öğrenme ve Yakınsal Politika Optimizasyonu) kullanan veri odaklı Çevrimiçi Ev Enerji Yönetim Sistemi (Online Home Energy Management System - ON-HEM)  önerilmiştir. Önerilen sistem, güç kaynaklarını (şebeke, fotovoltaik), haberleşme ağlarını, merkezi olmayan kontrolcülere sahip dört gruba ayrılmış ertelenebilir, ertelenemez, güç seviyesi kontrol edilebilir ev aletlerini ve elektrikli aracı içermektedir. ON-HEM, gerçek yaşam verileriyle ilgili kullanıcı memnuniyetsizlik maliyetini göz önünde bulundurarak elektrik maliyetlerini ve anlık yüksek güç taleplerini azaltmayı hedeflemiştir. PyCharm Professional Edition yazılımı kullanılarak Q-Öğrenme, Derin Q-Öğrenme ve Yakınsal Politika Optimizasyonu algoritmalarıyla farklı fiyatlandırma yaklaşımları (Gerçek Zamanlı Fiyatlandırma ve Zamana Bağlı Fiyatlandırma) önerilmiş ON-HEM ile benzetim çalışmaları gerçekleştirilmiştir. Elde edilen bulgular hem Yakınsal Politika Optimizasyonunun, değer tabanlı Derin Q-Öğrenme ve Q-Öğrenmeye göre üstünlüğünü, hem de önerilen ON-HEM'in anlık yüksek güç taleplerini, elektrik maliyetlerini ve kullanıcı memnuniyetsizlik maliyetlerini azaltmadaki etkinliğini göstermiştir. Önerilen sistemin verimliliği ve güvenirliği noktasında, IBM SPSS Statistics yazılımı kullanılarak gerçek yaşam verileriyle benzetim çalışmalarında elde edilen bulguların anlamlı olup olmadığı sorgulanmıştır.

Abstract:
Home energy management system users schedule their real-time energy consumption thanks to the developments in communication technology and smart metering infrastructures. In this thesis, Online Home Energy Management System (ON-HEM), a data-driven strategy that uses model-free reinforcement learning algorithms (Q-Learning, Deep Q-Learning and Proximal Policy Optimization) to control the optimum energy consumption of a smart home system, is proposed. The proposed system includes power resources (grid, photovoltaic), communication networks and decentralized agents divided into four groups: deferrable, non-deferrable, power level controllable home appliances and electric vehicle. ON-HEM aims to reduce electrical costs and instantaneous high peak demands by considering the cost of user dissatisfaction with real-life data. Simulation studies were conducted with the proposed ON-HEM under different pricing approaches (Real-Time Pricing and Time-of-Use Pricing) with Q-Learning, Deep Q-Learning and Proximal Policy Optimization algorithms using PyCharm Professional Edition software. The findings showed both the superiority of policy-based Proximal Policy Optimization over value-based Deep Q-Learning and Q-Learning and the effectiveness of the proposed ON-HEM in reducing instantaneous high peak demands, electrical costs and user dissatisfaction costs. In terms of efficiency and reliability of the proposed system, ON-HEM was questioned whether the findings obtained in simulation studies with real-life data were meaningful using IBM SPSS Statistics software.