Web sunucu loglarının web madenciliği yöntemleri ile analizi
The analysis of web server logs with web mining methods
Yazar: SERBEST ZİYANAK
Danışman: DOÇ. DR. HALİT ERAY ÇELİK
Yüzüncü Yıl Üniversitesi / Fen Bilimleri Enstitüsü / İstatistik Ana Bilim Dalı
Derece: Yüksek Lisans, 2017
Konu: İstatistik = Statistics

Özet:
Bir web sayfasında gezinirken ziyaretçinin yaptığı tüm işlemler aslında web sunucusu üzerinde erişim ve hata kayıt dosyalarında tutulmaktadır. Zamanla bütün erişim ve hata kayıtlarının tutulduğu dosyalar, yüksek boyutlara ulaştığı için web sunucusunu yöneten kişiler tarafından silinmektedir. Ancak incelenmeden silinen bu dosyalardaki veriler doğru yöntemlerle incelendiğinde birçok istatistiksel sonuç elde edileceği gibi web sayfasının etkin kullanımı için iyileştirme yapmak, güvenlik önlemleri almak, web sunucusuna gelen siber saldırıları tespit etmek de mümkün olabilmektedir. Bu çalışmada web sunucuları üzerindeki erişim logları web madenciliği yöntemleri ile incelenip, web sayfalarının daha etkin kullanımı ve düzenlenmesi için çeşitli sonuçlar çıkarılmıştır.
Web sunucu logları Web Madenciliği yöntemleri ile incelendiğinde, erişim loglarının tamamının incelenmesi gerekmektedir. Web erişim logları zamanla çok büyük veriler haline geldiğinden bu çalışmada büyük verileri, farklı bir dosya sistemi ve farklı metodlarla inceleyen Apache Hadoop sistemi kullanılmıştır. Apache Hadoop üzerindeki verilerin daha kolay ve etkin bir şekilde incelenmesi amacıyla, büyük veriler için tasarlanmış Apache Hive sorgulama dili kullanılarak, tez çalışması kapsamında Web Sunucu erişim loglarının silinmeden önce bu loglardan birçok anlamlı ve yararlı sonuç çıkarılmasına olanak sağlanmıştır.

Anahtar kelimeler: Büyük veri, Hadoop, Hive, Veri madenciliği, Web loglarının analizi, Web madenciliği

Abstract:
While surfing on a website, all the actions taken by the visitors are actually recorded on web server in the error and access files. In process of time, the files recording all the access and error entries are deleted by the people who are the management of web servers by reason of their reaching high sizes. However; when these inputs deleted without checking out are checked out with correct methods, it not only gets statistical inferences but also it is possible to make improvements on website for its efficient usage, taking security measures, identifying cyber-attacks to the website. In this work, the conclusions are drawn to check out access logs on web servers with web mining methods, for more efficient usage of web sites and its formatting.
When the web servers are checked out with web mining methods, it is crucial to check out all the access logs. As the web access logs becomes big data in time, Apache Hadoop System which checks out big data with a different file system and methods is used in this paper. Apache Hive query language designed for Big Data is used so as to check out the data more easily and efficiently on Apache Hadoop. Within the context of thesis study, the opportunities are provided to draw significant and useful conclusions from access logs before they are deleted.

Key words: Data mining, Hadoop, Hive, The analysis of web logs, Web mining