Akıllı çiftlikler için büyük veri analizi
Big data analysis for smart farming
Yazar: DUYGU NAZİFE ZARALI
Danışman: DOÇ. DR. HACER KARACAN
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Akıllı sistemler genel olarak, verileri toplama, analiz etme ve diğer sistemler ile iletişim kurma kapasitesine, belirli bir derecede zekaya sahip olan gömülü bilgisayar veya kontrol edilen sistemleri, makineleri ve cihazları ifade eder. Çiftçilerin çiftliklerini kolaylıkla yönetmelerine olanak tanıyan akıllı teknolojilerdeki gelişmeler, akıllı çiftlik kavramını ortaya çıkarmaktadır. Bu teknolojiler, süt çiftçiliğine harcanan emeğe ve insan-hayvan etkileşimine olan ihtiyacı azaltır. Bu teknolojilerin çiftliklerde uygulanmasıyla çiftlik verilerinin miktarı ve kapsamı artmakta ve çiftçilik işlemleri giderek veri odaklı ve veri etkin hale gelmektedir. Bu nedenle büyük veri analizi, çiftlik işlemlerinde tahmine dayalı bilgiler sunmak, gerçek zamanlı operasyonel kararlar vermek için kullanılmaktadır. Büyük verilerin analizi, depolama, analiz ve görselleştirme güçlüklerini beraberinde getiren daha değişken ve karmaşık yapıları işlemek için algoritmaların kullanılmasını gerektirir. Büyük hacimli ve giderek büyüyen veri kümelerinin işlenmesi gereksinimini karşılamak için farklı depolama ve işleme yöntemleri uygulanmaktadır. Apache Spark, büyük veri işlemeyi daha kolay ve hızlı hale getiren etkili bir dağıtık veri işleme motorudur. Spark, ölçeklenebilir makine öğrenmesi, grafik analizi, akan ve yapısal veri işleme için geliştirilen bellek içi programlama modeline ve üst düzey kütüphanelere sahiptir. Bu tezde akıllı çiftliklerden elde edilen büyük ölçekli veriler analiz edilmiş ve sıralı örüntü madenciliği algoritması olan PrefixSpan, Apache Spark makine öğrenme kütüphanesi kullanılarak uygulanmıştır. Geçmiş verilerinin analiz edilmesiyle, sorunların ana kaynakları tahmin edilebilir ve ortaya çıkabilecek muhtemel problemler ortadan kaldırılabilir durumda olacaktır. Bu analizle, sistemlerde meydana gelebilecek arızaların erken tespit edilmesi ve bakım işlemlerinin buna göre yönetilmesiyle önemli maliyetlerin en aza indirgenmesi mümkün olabilir.

Abstract:
Intelligent systems refer broadly to computer embedded or controlled systems, machines and devices that possess a certain degree of intelligence with the capacity to gather and analyze data and communicate with other systems. Developments of intelligent technologies that allow farmers to manage farms with ease has introduced the smart farming concept. These technologies take over the labor of dairy farming and reduce the need for human-animal interactions. As implementation of these technologies on farms, farm data grow in quantity and scope and farming processes become increasingly data-driven and data-enabled. Therefore, big data analysis is being used to provide predictive insights in farming operations, drive real-time operational decisions. The analysis of big data requires algorithms to handle more varied and complex structures with difficulties in storing, analyzing and visualizing. Different storage and processing methods are implemented to meet the requirement of processing large-volume, growing datasets. Apache Spark is an effective distributed data processing engine that makes big data processing easier and faster. Spark has advanced in-memory programming model and upper-level libraries for scalable machine learning, graph analysis, streaming and structured data processing. In this thesis, large scale data obtained from intelligent farms, are analyzed and PrefixSpan, a sequential pattern mining algorithm, is implemented using Apache Spark machine learning library. Based on the analysis of the past data, the main sources of the problems could be predicted and the possible problems that may arise can be eliminated. With this analysis, it can be possible to minimize significant costs by early detection of failures that may occur in systems and management of maintenance processes accordingly.