Kubernetes mimarisinde büyük veri perspektifinden derin öğrenme yöntemleriyle anomali tespit modeli
Kubernetes mimarisinde büyük veri perspektifinden derin öğrenme yöntemleriyle anomali tespit modeli
Yazar: Şimşek, Mehmet Ulvi; Akgül, Nuh Ali; Akın, Murat
Dergi: Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, Vol. 40 No. 3, 2023
Anahtar kelimeler: Deep Learning ; Derin Öğrenme ; Trafik Verisi,Anomali Tespiti,Büyük Veri,Kubernetes,Derin Öğrenme

Günümüzde sensör sayısının artması ile birlikte yüksek hızda, çeşitlilikte ve hacimde veri üretilmektedir. Üretilen yüksek hızda ve farklı kaynaklardan gelen verinin birlikte analiz edilmesi önem arz etmektedir. Bu noktada büyük veri sistemleri katmanlı mimarisi ile birlikte çözümler sunmaktadır. Her bir katmanda farklı uygulamalar çalışmakta ve birbirleri ile iletişim kurarak çalışmaktadırlar. Bu çalışma, kubernetes mimarisi kullanılarak sensör verilerinin birleştirilmesi, yapay zeka yöntemleri ile anomali tespiti ve anlık verilerin işlenmesine yönelik model sunmaktadır. Önerilen sistem modeli verilerin işlenmesi ve birleştirilmesi, yapay zekâ tabanlı model geliştirilmesi ve görselleştirme aşamalarından oluşmaktadır. Bu noktada kubernetes mimarisi ile birlikte orkestrasyon işlemi sağlanarak açık kaynak kodlu uygulamalar aracılığı ile veri birleştirme, işleme ve görselleştirme işlemleri dağıtık, hata toleranslı ve etkin kaynak yönetimi sağlayacak şekilde oluşturulmuştur. Anomali tespit işlemi için ise yapay zekâ algoritmalarından LSTM, GRU ve Conv1d algoritmaları kullanılarak karşılaştırmalı analiz yapılmıştır. Sistemin normal durumuna, eğitim ve anlık veri analizi aşamasındaki durumlarına ilişkin işlemci kullanım oranları karşılaştırılarak sonuçlar sunulmuştur. Sonuç olarak önerilen kubernetes tabanlı anomali tespit modeli ile baştan sona veri toplama aşamasından başlayarak veri işleme ve görselleştirme aşamalarına ilişkin bir sistem modeli gerçekleştirilmiştir. Bu bağlamda önerilen sistem modelinin akış verilerini birleştirerek analizinde dağıtık işlem gerçekleştirme ve hata toleranslı şekilde işlemleri gerçekleştirdiği görülmüştür.

Günümüzde sensör sayısının artması ile birlikte yüksek hızda, çeşitlilikte ve hacimde veri üretilmektedir. Üretilen yüksek hızda ve farklı kaynaklardan gelen verinin birlikte analiz edilmesi önem arz etmektedir. Bu noktada büyük veri sistemleri katmanlı mimarisi ile birlikte çözümler sunmaktadır. Her bir katmanda farklı uygulamalar çalışmakta ve birbirleri ile iletişim kurarak çalışmaktadırlar. Bu çalışma, kubernetes mimarisi kullanılarak sensör verilerinin birleştirilmesi, yapay zeka yöntemleri ile anomali tespiti ve anlık verilerin işlenmesine yönelik model sunmaktadır. Önerilen sistem modeli verilerin işlenmesi ve birleştirilmesi, yapay zekâ tabanlı model geliştirilmesi ve görselleştirme aşamalarından oluşmaktadır. Bu noktada kubernetes mimarisi ile birlikte orkestrasyon işlemi sağlanarak açık kaynak kodlu uygulamalar aracılığı ile veri birleştirme, işleme ve görselleştirme işlemleri dağıtık, hata toleranslı ve etkin kaynak yönetimi sağlayacak şekilde oluşturulmuştur. Anomali tespit işlemi için ise yapay zekâ algoritmalarından LSTM, GRU ve Conv1d algoritmaları kullanılarak karşılaştırmalı analiz yapılmıştır. Sistemin normal durumuna, eğitim ve anlık veri analizi aşamasındaki durumlarına ilişkin işlemci kullanım oranları karşılaştırılarak sonuçlar sunulmuştur. Sonuç olarak önerilen kubernetes tabanlı anomali tespit modeli ile baştan sona veri toplama aşamasından başlayarak veri işleme ve görselleştirme aşamalarına ilişkin bir sistem modeli gerçekleştirilmiştir. Bu bağlamda önerilen sistem modelinin akış verilerini birleştirerek analizinde dağıtık işlem gerçekleştirme ve hata toleranslı şekilde işlemleri gerçekleştirdiği görülmüştür.