Büyük veri araçları ile COVİD-19 pandemisinin İstanbul trafiğine etkisinin analizi
Impact analysis of COVID-19 pandemic on Istanbul traffic with big data tools
Yazar: UĞUR ALCAN
Danışman: PROF. DR. FIRAT KAÇAR
İstanbul Üniversitesi-Cerrahpaşa / Lisansüstü Eğitim Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektrik Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2022
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Büyük veri = Big data ; COVID 19 = COVID 19 ; Trafik tahmini = Traffic forecast ; İstanbul = Istanbul

Özet:
Teknolojinin beraberinde getirdiği internet ile birlikte; insanlar, yaptığı hemen hemen tüm işlerde veri üretir hale geldi. Sıradan bir günde yaptığımız Whatsapp'tan mesaj atma, Instagramda fotoğraf paylaşma, Google'dan arama yapma, e-posta (elektronik posta) gönderme ve bunlar gibi sayamayacağımız birçok faaliyetimizle devasa boyutlarda bir veri kaynağı oluşturmaktayız. Bu kadar yoğun ve farklı veri aynı zamanda bilgi çöplüğüne neden olmaktadır. Bu çöplüğü geleneksel teknolojilerle analiz etmek ise ayrı bir problemdir. Bu bilgi yığınını kendi müşterilerinin davranışlarını analiz edip, elde edilen sonuçlara göre stratejilerini belirlemek isteyen büyük firmalar büyük veri kavramını ortaya çıkardılar. Büyük veri, sosyal medya  paylaşımları, sensör verileri, fotoğraf arşivlerimiz, GSM (Global System for Mobile  Communications) operatörlerinden elde edilen arama kayıtları, arama motorları istatistikleri, log dosyaları gibi farklı kaynaklardan elde ettiğimiz verilerin anlamlı ve işlenebilir hale dönüştürülmüş biçimidir.
Bu çalışmada büyük veri teknolojilerinin gücü kullanılarak günümüzün önemli bir problemi olan Covid-19 pandemisinin İstanbul trafiğine etkisi incelenmiştir. Bu kapsamda İstanbul Büyük Şehir Belediyesi'nin açık olarak yayınladığı 2020 yılına ait saatlik trafik indeksi veri seti ile aynı yıla ait sokağa çıkma kısıtlaması zamanları veri seti ele alınmıştır. Bu veri setlerinin analizinde yeni nesil veri işleme aracı olan Apache Spark kullanılmıştır. Apache Spark ile 2020 yılına ait İstanbul trafik indeksi verilerinin öncelikle genel analizi yapılmış olup, daha sonra elde edilen veriler sokağa çıkma kısıtlaması zamanları veri seti ile ilişkilendirilerek etki analizi yapılmıştır. İşlenen verilerin tutulmasında Elasticsearch kullanılmış olup, veri görselleştirmesinde ise Kibana kullanılmıştır. Çalışmanın sonunda ise Apache Spark'ın MLlib (Machine learning library) kütüphanesi kullanılarak lojistik regresyon, karar ağaçları, rastgele orman, gradyan yükseltme ağacı tabanlı OneVsRest ve doğrusal destek vektör makinesi tabanlı OneVsRest yöntemleriyle trafik indeksi konusunda makine öğrenmesi uygulamaları geliştirilmiştir. Çalışmanın esas amacı büyük veri algoritmaları ile Covid-19 pandemisinin İstanbul ulaşımına etkisini analiz etmek gibi gözükse de yavaş yavaş akıllı şehirlere dönüşmeye başladığımız bu dönemde, trafik analiz ve tahminin bu sürecin önemli bir parçası olması sebebiyle; yapılan bu çalışma, akıllı şehirlere dönüşme sürecine de hizmet etmektedir.

Abstract:
With the internet brought along by technology, people have started to produce data in almost all their jobs. We create a huge data source with many activities we cannot count, such as sending messages on Whatsapp, sharing photos on Instagram, searching from Google, sending electronic mails (email) and these, which we do on an ordinary day. Such dense and different data also leads to information garbage. Analyzing this dump with traditional technologies has been another problem. Big companies that want to analyze this mass of information, analyze the behavior of their customers and determine their strategies according to the results obtained, have come up with the concept of big data. Big data is the form of the data we obtain from different sources such as social media shares, sensor data, photo archives, call records obtained from GSM (Global System for Mobile Communications) operators, and search engine statistics, into a meaningful and processable form.
In this study, the effect of the Covid-19 pandemic, which is an important problem of today, on Istanbul traffic has been examined by using the power of big data technologies. In this context, the hourly traffic index of 2020 dataset which has openly been published by Istanbul Metropolitan Municipality and curfew time dataset are discussed. Apache Spark, a new generation data processing tool, has been used in the analysis of these data sets. With Apache Spark, firstly a general analysis of the Istanbul traffic index data for 2020 has been carried out, and then the data obtained have been associated with the curfew time dataset and impact analysis has been performed. Elasticsearch has been utilized to be able to keep the processed data, and Kibana has been used for data visualization. At the end of the study, machine learning applications on traffic density have been enhanced using Apache Spark's MLlib (Machine learning library) API with logistic regression, decision trees, random forest, gradient-boosted tree-based OneVsRest and linear support vector machine-based OneVsRest methods. Although the main purpose of the study seems to be to analyze the impact of the Covid-19 pandemic on Istanbul transportation with big data algorithms, in this period when ordinary cities are slowly turning into smart cities and since traffic analysis and forecasting are an significant part of this process, this study also contributes to the process of transforming into smart cities.