Bir abonenin elektrik tüketim verilerinin veri madenciliği yöntemleri ile analiz edilmesi ve doğru tarifenin belirlenmesi
Analysis of electric consumption data by data mining methods and determining the right tariff
Yazar: SEDA BALTA
Danışman: DOÇ. DR. CÜNEYT BAYILMIŞ
Sakarya Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2020
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Her geçen gün hayatımızda daha çok yer edinen teknolojinin gelişmesi ile birlikte büyük veri hacmi, depolanması ve analizi gibi sorunlar ortaya çıkmaktadır. Teknolojinin gelişimi aynı zamanda elektriğe olan bağımlılığı da arttırmaktadır. Elektrik tüketiminin artması maliyet sorununu ortaya çıkarmaktadır. Bu sebeplerden dolayı bireyler optimum fayda-maliyet ilişkisini aramaktadır. Optimum fayda-maliyet ilişkisini bulabilmek için elde edilen büyük veriyi anlamlı hale getirmek gerekmektedir. Bu nedenle büyük veri analitiği için Apache Spark özel olarak geliştirilmiş platformdur. Apache Spark büyük veriler üzerinde çeşitli makine öğrenmesi algoritmaları kullanarak veri analizi yapılmasına olanak sağlayan bütünleşik bir hesaplama motorudur. Diğer bir veri analitiği sistemi olan Apache Kafka ise sistemler arasındaki entegrasyon problemlerine bir çözüm olarak geliştirilen, üreticiler ve tüketiciler arasında gerçek zamanlı iletişime olanak sağlayan bir mesajlaşma protokolüdür. 

Bu tezde, öncelikle kullanıcıların elektrik tüketim bilgilerini incelemek ve kullanıcılardan elde edilen tüketim verilerinin analizi için yazılım kontrollü akıllı priz geliştirilmiştir. Geliştirilen bu akıllı priz aracılığıyla elde edildiği varsayılan 5000 adet kullanıcının elektrik tüketim verisi Türkiye'de varolan elektrik faturalandırma sistemine göre incelenerek, kullanıcıya en uygun tüketici tipi seçimi yapılmıştır. Tüketici tipi seçimi yapılırken, aynı veri seti ile Lojistik Regresyon kullanılarak iki farklı makine öğrenmesi uygulaması geliştirilmiştir. Uygulama-1'de Spark Structured Streaming ile gerçek zamanlı veri analizi yapılmaktadır. Uygulama-2'de ise Apache Kafka ile gerçek zamanlı veri analizi yapılmaktadır. Bu iki uygulama arasında yaklaşım ve kullanılan teknolojiler açısından farklılıklar bulunmaktadır. Uygulamalara göre elde edilen sonuçlar, önerilen mimarinin gerçek zamanlı veri analizi için kullanılabilir olduğunu göstermektedir.

Abstract:
With the development of technology, which takes more place in our lives day by day, problems such as big data volume, storage and analysis arise. The development of technology also increases dependence on electricity. The increase in electricity consumption raises the cost problem. For these reasons, individuals seek the optimum cost-benefit relationship. To find the optimum cost-benefit relationship, it is necessary to make the big data obtained meaningful. Therefore, Apache Spark is a specially developed platform for big data analytics. Apache Spark is an integrated calculation engine that enables data analysis on large data using various machine learning algorithms. Apache Kafka, another data analytics system, is a messaging protocol developed as a solution to integration problems between systems, enabling real-time communication between producers and consumers.
 
In this thesis, firstly, software controlled smart plug was developed to examine the electricity consumption information of the users and to analyze the consumption data obtained from the users. Developed this smart plug is obtained through the default data 5000's by examining the power consumption by the electricity billing system existing in Turkey are made optimum consumer type selection to the user. While selecting the consumer type, two different machine learning applications were developed by using Logistic Regression with the same data set. Real-time data analysis is performed with Spark Structured Streaming in Application-1. In application-2, real-time data analysis is performed with Apache Kafka. There are differences between these two applications in terms of approaches and technologies. Results obtained according to applications show that the proposed architecture is available for real-time data analysis.