Paralel programlama ile web madenciliğinde log analizi
Log analysis in web mining with parallel programming
Yazar: GÜNCEL SARIMAN
Danışman: DOÇ. DR. TUNCAY YİĞİT
Süleyman Demirel Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2011
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Genetik algoritmalar = Genetic algorithms ; Paralel programlama = Parallel programs ; Veri madenciliği = Data mining ; Web = Web

Özet:
Son yıllarda internetin yaşamımızın önemli bir bölümünü oluşturmasıyla web sitelerine olan ihtiyaç giderek artmaktadır. Bilgiye erişimin en kolay yolu olan internet bir süre sonra bilgi yığını haline gelmektedir. Bu bilgileri kullanmanın yanında web sitelerinden yeni bilgi keşifleri web madenciliği kavramıyla sağlanmaktadır. Web madenciliği kavramı site yapısının iyileştirilmesi ve sitenin etkin olarak kullanılmasını sağladığı için araştırmacılar tarafından son yıllarda dikkat çeken konuların başında gelmektedir. Web madenciliği web dokümanlarından ve servislerden otomatik bilgi çıkarmak ve yeni bilgiler keşfetmek için veri madenciliği tekniklerinin kullanıldığı bir yöntemdir. Web madenciliği araştırdığı konular bakımından web içerik, web yapı ve web kullanım madenciliği olmak üzere üç ana bölümde incelenmektedir.Bu çalışmada Süleyman Demirel Üniversitesi kurumsal web sitesinin 1 Ocak-31 Ağustos 2010 tarihleri arasındaki erişim kayıtlarının web kullanım madenciliği ile çeşitli veri madenciliği teknikleriyle analiz edilmesi için yazılım geliştirilmiştir. Mevcut yazılımlarla uzun zaman alan web erişim kütük analizinin daha kısa sürede tamamlanması amacıyla geliştirilen uygulamada paralel programlama teknikleri kullanılmıştır. Çalışmada erişim kütüklerinden ilginç ve anlamlı bilgilerin çıkarılması dört ana bölümde gerçekleştirilmiştir. Ön işleme aşamasında erişim kütükleri gürültülü verilerden ayıklanmıştır. Birliktelik kuralları analizinde birlikte ziyaret edilen sayfalarla ilgili bilgiler keşfedilmiştir. Genetik algoritma aşamasında ise en sık ziyaret edilen 3'lü sayfa gruplarının bilgisi keşfedilmiştir. Çalışmanın son bölümünde erişim kayıtlarıyla ilgili istatiksel analiz gerçekleştirilmiştir. Tüm analizler paralel ve seri algoritmalarla çalıştırılarak çalışma süreleri üzerinde karşılaştırma yapılmıştır. Gerçekleştirilen çalışmalar web sitesinin geliştirilmesine, site kullanılabilirliğine katkı sağlamaktadır.

Abstract:
Recently, via the demand of web sites, internet is an important part of our lives. The easiest way to access data from the internet after a while becomes a mass of facts. In addition to using this information, discoveries of new information from websites provided by web mining. Because of the concept of web mining to provide effective use of the site structure and site improvement, web mining is one of the important issues by researchers in recent years. Web mining is described as using data mining techniques to explore and extract information from web documents and web services. Web mining is studied in three main parts in terms of investigating issues as web content, web structure and web usage mining.In this study, software is creation the covering all phases in web usage mining between 1 January and 31 August 2010 user access logs belonging to the web site of Süleyman Demirel University were analyzed in web usage mining with data mining techniques. The current web access logs analysis software for a long time to in runtime so that in this study, parallel programming techniques are used for completing in less time. In study to be obtained interesting and meaningful information, performed in four main sections. In pre-processing phase the noisy data Access logs sorted. With analysis of association rules, information is discovered about the page visited together. In genetic algorithm the most frequently 3- stage visited page groups? information was discovered. The last part of the study statistical analysis is carried out about Access log files. All analysis algorithms running in parallel and serial and comparison was carried out on working time. Developed studies contribute to the availability of the site and web site development.