Binalarda enerji tüketimi ve kullanıcı termal konforu optimizasyonu için derin pekiştirmeli öğrenme tabanlı bina işletim stratejilerinin geliştirilmesi
Development of deep reinforcement learning based building operation strategies for energy consumption and user thermal comfort optimization in buildings
Yazar: MERVE KURU ERDEM
Danışman: DOÇ. DR. GÜLBEN ÇALIŞ
Ege Üniversitesi / Fen Bilimleri Enstitüsü / İnşaat Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2024
Konu: İnşaat Mühendisliği = Civil Engineering

Özet:
Son yıllarda, günümüz çalışma koşulları ve pandeminin de etkisi bina işlevlerine, iç ortam hava kalitesine ve termal konfora olan talebin artmasına neden olmuştur. Binalarda termal konforun sağlanması genellikle mekanik ısıtma, soğutma ve havalandırma (Heating, Cooling and Ventilation – HVAC) sistemleri aracılığıyla gerçekleştirilmekte olup bu durum HVAC sistemlerini binalardaki en fazla enerji tüketim nedeni haline getirmektedir. Bu nedenle, HVAC sistemleri için kontrol stratejileri geliştirilerek kullanıcıların termal konforunun arttırılmasına ve aynı zamanda HVAC sistemlerinin enerji verimli hale getirilmesine ihtiyaç duyulmaktadır. Bu tez çalışmasının amacı, bina kullanıcıların termal konforunu artırırken HVAC sistemin enerji tüketimini azaltmaya yönelik Derin Pekiştirmeli Öğrenme (DRL) tabanlı kontrol stratejilerin geliştirilmesidir. Bu kapsamda, uygulanabilir bir çerçeve geliştirilmiş ve gerçek dünya verileri ile değerlendirilmiştir. Değerlendirme sürecinde, Berkeley, California'daki bir ofis binasına ait açık kaynaklı bir veri seti kullanılmıştır. Kullanıcıların termal konfor düzeylerini belirlemek için ASHRAE termal konfor veri tabanından elde edilen Termal Duyum Oyları (TSV) kullanılmıştır. Binadaki çatı katı ünitesi (RTU) operasyonlarını tahmin etmek amacıyla çok girdili - çok çıktılı Uzun-Kısa Süreli Bellek (LSTM) ve Kapılı Tekrarlayan Üniteler (GRU) ağları eğitilmiş ve karşılaştırılmıştır. Ayrıca, DRL ajanının ödül fonksiyonunu oluşturmak için 7 sınıflı bir TSV tahmin modeli geliştirilmiş ve bu model için altı farklı sınıflandırma algoritması test edilmiştir. Tahmin edilen RTU operasyonel verileri ve kullanıcı termal konforu, tasarlanan DRL ortamında ödül tasarımı için kullanılmıştır. DRL ajanının bu ortamla etkileşime girerek RTU'yu kontrol etmesi için Derin Deterministik Politika Gradyanı (DDPG) ve Soft Aktör Kritik (SAC) algoritmaları kullanılmıştır. Ajanın eğitimi, üç aylık bina verileri kullanılarak yapılırken, test süreci için takip eden üç ayın verileri kullanılmıştır. Sonuçlar, DDPG'nin kullanıcıların termal konforunu %90 arttırırken enerji tüketimini %26,25 azalttığını, SAC algoritmasının ise termal konforu korurken enerji tüketimini %62,03 azalttığını ortaya koymuştur. Bu sonuçlar, enerji verimliliği ve termal konfor arasında daha iyi bir denge sağlamak için DDPG'nin daha uygun olabileceğini, ancak maksimum enerji tasarrufu gerektiğinde SAC'nin tercih edilebileceğini göstermektedir.

Abstract:
Recently, due to the impact of the pandemic and current working conditions, the time spent indoors has increased the demand for thermal comfort. Providing thermal comfort in buildings is generally achieved through mechanical heating, cooling and ventilation (HVAC) systems, which makes HVAC systems the largest cause of energy consumption in buildings. Therefore, there is a need to improve the thermal comfort of users and HVAC systems energy efficient by developing control strategies for HVAC systems. The aim of this thesis is to develop Deep Reinforcement Learning (DRL)-based control strategies to reduce the energy consumption of the HVAC system while increasing the thermal comfort of building users. In this context, an applicable framework was developed and evaluated with real-world data. During the evaluation process, an open-source dataset from an office building in Berkeley, California was used. Thermal Sensation Votes (TSV) obtained from the ASHRAE thermal comfort database were used to determine the thermal comfort levels of the users. Multi-input multi-output Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) networks were trained and compared to predict the operations of the Rooftop Units (RTU) in the building. Furthermore, a 7-class TSV prediction model was developed to construct the reward function for the DRL agent, and six different classification algorithms were tested for this model. The predicted RTU operational data and user thermal comfort were used for reward design in the designed DRL environment. The Deep Deterministic Policy Gradient algorithm was employed for the DRL agent to interact with this environment and control the RTU. The training of the agent was conducted using three months of building data, while the following three months of data were used for the testing process. The results showed that DDPG increased user thermal comfort by 90% while reducing energy consumption by 26.25%, whereas the SAC algorithm maintained thermal comfort while reducing energy consumption by 62.03%. These results suggest that DDPG might be more suitable for achieving a better balance between energy efficiency and thermal comfort, while SAC can be preferred when maximum energy savings are required.