A novel framework for disaster resilient smart cities: Using big data analytics

Akıllı şehirlere yönelik çalışmalar, felaket senaryolarını kaynakça yönetmek için bilgi ve yeni bilgiler sunarak ölümleri azaltmada önemli bir rol oynayabilir. Akıllı şehir kavramı, yüksek kaliteli multimedya hizmetlerini elde etmek için ideal bir çözüm olarak kabul edilmektedir. Akıllı telefonların ve diğer taşınabilir mobil teknolojilerin aşırı kullanımıyla donatılmış algılayıcılar ve sosyal medyanın ortaya çıkmasıyla, geleneksel veri toplama ve yönetme yöntemleri yetersiz kalmaktadır. Algılanan büyük veriler, durumsal farkındalığın arttırılması, kaynakların daha iyi tahsis edilmesi ve afet riskini azaltma stratejileri ve risk değerlendirmeleri hakkında bilgi vermek için daha iyi bir kaynağın sağlanması gibi birçok fayda sağlayabilir. Bu tez çalışmasında, afet yönetimi süreçlerinin temel işlemlerini gerçekleştirmek için yeni ve daha etkili bir yaklaşım sunan BDA teknolojilerinin birleşmesi için yeni bir kavramsal bir çerçeve önerilmiştir. Çalışmada, bazı önerilen parametrelerle birleştirilen büyük veri teknolojisinin, afet yöneticilerine güncel ve yararlı bilgiler sağlamak için kriz verilerini üretmek, entegre etmek, işlemek ve analiz etmek için etkili bir şekilde kullanılabileceği üzerinde durulmuştur. Büyük veri kaynaklarının entegrasyonu ve işlenmesi daha etkili ama aynı zamanda çok zorlu bir ortama yol açabilir. Bu tez, farklı türdeki büyük verilerin yönetime alınması ve konuyla ilgili literatür ışığında birleştirilmesi için kullanılabilecek yeni bir mimarinin hayata geçirilmesine katkıda bulunmaktadır. Yapılandırılmamış sosyal medya veri setlerinin kalitesine yönelik kaygılar, zorlu bir araştırma fırsatı olarak kabul edilmektedir. Bu tez çalışmasında, sosyal medya verilerinin kalitesi önerilen bir filtreleme mekanizması ile değerlendirilmiştir. Tez, konuşlandırılmış sistemde gerçekleştirilen tüm operasyonel adımların detaylarını gösteren uygulama modeline odaklanmaktadır. Önerilen uygulama modeli dört katmana ayrılmaktadır. Bunlar; 1) Veri Toplama; 2) Veri Yığma; 3) Veri Ön İşleme; 4) Büyük Veri Analitiği ve Servis Platformu. Spark Engine ve Hadoop Ecosystem ile donatılmış sistem platformu, verileri öngörülen algoritmalara göre işler. Uygulama, MapReduce mekanizmasıyla Hadoop ekosistemi kullanılarak gerçekleştirilir. MapReduce'un paralel oluşumu HDFS ile konuşlandırılmıştır. Apache Spark, gerçek zamanlı veri akışlarında daha güçlü işlemler için Hadoop ile birlikte kullanılmıştır. Hem çevrimiçi hem de çevrimdışı veri akışlarını destekleyen Spark Streaming, sistemde veri toplaması için dağıtılır. Uygulanan sistem, Hadoop üzerinden paralel veri işlemeden ve Apache Spark kullanarak gerçek zamanlı veri işlemeden faydalanmaktadır. Bu kombinasyon esnek ve etkili depolama, doğru parametre hesaplama ve hızlı sonuç üretmeyi sağlamıştır. Hadoop Ekosistemi ve Spark tabanlı analitik, IoT ve Twitter veri setleri için gerçek zamanlı ve çevrimdışı analizleri değerlendirmek üzere gerçekleştirilir. Önerilen çerçeve, gerçek zamanlı işlem gerektiren büyük veri kümelerinin işlenmesine odaklanmıştır. Bu nedenle uygulanan sistem artan veri büyüklüğü dikkate alınarak veri işleme ve verim açısından değerlendirilmiştir. Veri filtreleme ve normalleştirme teknikleri, işlem süresini yeterince düşürmüş ve verimi artırmıştır. Çalışma, çeşitli şemaların performansını karşılaştırmak için Apache Spark'ın farklı durumlarıyla birlikte tek ve çift düğümlü MapReduce Hadoop küme örneklerini genel ve filtrelenmiş veri kümeleriyle değerlendirilmiştir. Sistem verimliliğinin değerlendirilmesi, önerilen mimarinin performans üstünlüğünü gösteren işlem süresi ve verim açısından ölçülmüştür. Bu tez, akıllı şehirler ve afet yönetimi alanındaki gelecekteki satın alımlar için araştırmacılara ve endüstrilere referanslar sağlayabilir.