Büyük veri uygulamaları için bir lamda mimari geliştirilmesi
Developing a lambda architecture for big data processing applications
Yazar: MUSTAFA UMUT DEMİREZEN
Danışman: YRD. DOÇ. DR. TUĞBA SELCEN NAVRUZ
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2015
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Büyük veri teknolojileri ilk olarak kullanılmaya başlandığından beri ihtiyaç duyulan amaçlar doğrultusunda değişim geçirmiştir. Başlangıçta sadece duran veri işleme sistemleri kullanılıyorken zamanla akışkan verilerin de işlenebilmesi ihtiyacı doğmuştur. Günümüzde ise büyük verilerden fayda sağlanabilmesi için bu ihtiyaç, duran ve hareketli verilerin birlikte işlenebilmesini gerektirmektedir. Bu konuda halen olgunlaşmış bir teknoloji olmasa da teorik ve konsept bazında yayınlanan çalışmalar ilgi çekicidir. Bu çalışmada henüz konsept bazında, akademik olarak yeterince araştırılamamış ve pratikte yaygın olarak kullanılamayan yeni bir büyük veri teknolojisi olan Lamda Mimari üzerinde detaylı bir araştırma ve geliştirme faaliyeti icra edilmiştir. Üç farklı katmandan oluşan mimarinin akışkan veri, duran veri ve sunum katmanlarının, konseptin tarif ettiği şekilde tam olarak kullanılmasıyla özgün bir tasarım geliştirilmiştir. Özellikle sunum katmanında mimarinin ihtiyaçlarını karşılayacak bir teknolojinin mevcut olmaması nedeniyle bu konuya odaklanılarak, mimarinin ihtiyaç duyduğu şekilde bir katman oluşturulabilmiştir. Ayrıca duran ve akışkan veri katmanlarında gerçekleştirilecek farklı karakteristik ve nitelikteki büyük veri analiz işlemleri için gerekli yazılım/kod üretiminin tek bir platformda toplanması sağlanarak oldukça özgün bir mimari oluşturulmuştur. Bu mimariye gerçek zamanlı uygulama katmanı da eklenerek orijinal konseptinde olmayan bir özellik kazandırılmıştır. Gerçekleştirilen testler sonucunda tasarımın deklare edilen konseptinde olmayan yeni yetenekleri de bünyesinde barındıracak şekilde, gerçek zamanlı ve durağan verilerin birlikte işlenebildiği özgün bir Lamda Mimari tasarlanmıştır. Gerçek hayatta karşılaşılabilecek senaryolar doğrultusunda yürütülen yedi farklı testin sonucunda tasarımın Lamda Mimari olarak oldukça güvenilir olarak çalıştığı tespit edilmiştir.

Abstract:
Big data technologies have had a need for change in line with the objectives needed to be used since the time they first began. Initially only batch processing systems had been used, but the need for real time data processing use also came into being in time. Today, however, to benefit from big data requires for this need a combination of batch and speed layers must be processed together. Even though there has been no matured technology, in terms of research on this issue published works are interesting in relation to theoretical and conceptual framework. In this research, adequate academic research has not been conducted on the basis of  concept yet;  there hasn't been  a satisfactorily detailed  and developed research on the lambda architecture, which is a big data technology being unused practically and commonly. When the three-folded batch layer, speed layer and batch processing of the structure are used as indicated by the concept, an original design has been advanced. Especially because of the absence of a technology that meets the needs of serving layer architecture, a layer could have been formed as required by the architecture by focusing on these issues. By collecting on the same platform the production of design and code required for various features and characteristics of batch and real time layers that are needed for the large date analyses, quite an original architecture has been established.  By adding a real time layer to this architecture, a new feature that does not exist in its original concept has been gained. As a result of tests, by adding new capabilities to its structure in the declared concept of the design, original lambda architecture has been designed in which real time and batch layer can be processed together. At the end of seven different tests in the direction of scenarios that can be faced in real life, it has been identified that as an architect of lambda, the design has been pretty reliable.