Belge sınıflandırma

Belge sınıflandırma veya belge kategorizasyonu, kütüphane bilimleri, bilgi bilimi ve bilgisayar biliminde bir sorundur. Görev, bir belgeyi bir veya daha fazla sınıfa veya kategoriye atamaktır. Bu "manuel" (veya "zihinsel") veya algoritmik olarak yapılabilir. Belge sınıflandırmasının zihinsel olarak yapılması genellikle kütüphane biliminin alanı olmuştur, oysa belgelerin algoritmik olarak sınıflandırılması genellikle bilgi bilimi ve bilgisayar biliminin alanındadır. Ancak, sorunlar örtüşmektedir ve bu nedenle belge sınıflandırması üzerine disiplinler arası araştırmalar bulunmaktadır.

Sınıflandırılacak belgeler metinler, görüntüler, müzikler vb. olabilir. Her tür belgenin kendine özgü sınıflandırma sorunları vardır. Aksi belirtilmedikçe, genellikle metin sınıflandırması kastedilir.

Belgeler konularına göre veya diğer özelliklere göre (belge türü, yazar, basım yılı vb. gibi) sınıflandırılabilir. Bu makalenin geri kalan kısmında yalnızca konu sınıflandırması ele alınmaktadır. Belge sınıflandırmasının iki ana felsefesi vardır: içerik tabanlı yaklaşım ve talep tabanlı yaklaşım.

 "İçerik tabanlı" ve "talep tabanlı" sınıflandırma 
İçerik tabanlı sınıflandırma, bir belgedeki belirli konulara verilen ağırlığın, belgenin atanacağı sınıfı belirlediği sınıflandırmadır. Örneğin, kütüphanelerde sınıflandırmada yaygın bir kural, bir kitabın atanacağı sınıfın en az %20'sinin kitabın içeriği hakkında olması gerektiğidir.Library of Congress (2008). The subject headings manual. Washington, DC.: Library of Congress, Policy and Standards Division. (Sheet H 180: "Assign headings only for topics that comprise at least 20% of the work.") Otomatik sınıflandırmada ise, belirli kelimelerin bir belgede kaç kez geçtiği olabilir.

Talep odaklı sınıflandırma (veya -dizinleme), kullanıcılardan beklenen talebin belgelerin nasıl sınıflandırıldığını etkilediği sınıflandırmadır. Sınıflandırmacı kendisine şu soruları sorar: "Bu varlık hangi tanımlayıcılar altında bulunmalı?" ve "tüm olası sorguları düşün ve eldeki varlığın hangileri için ilgili olduğuna karar ver" (Soergel, 1985, s. 230).

Talep odaklı sınıflandırma, belirli bir kitle veya kullanıcı grubuna yönelik olarak hedeflenmiş sınıflandırma olabilir. Örneğin, feminist çalışmalar için bir kütüphane veya veritabanı, bir tarih kütüphanesiyle karşılaştırıldığında belgeleri farklı şekilde sınıflandırabilir/dizinleyebilir. Bununla birlikte, talep odaklı sınıflandırmayı politika temelli sınıflandırma olarak anlamak daha iyidir: Sınıflandırma, bazı ideallere göre yapılır ve sınıflandırmayı yapan kütüphane veya veritabanının amacını yansıtır. Bu şekilde, kullanıcı çalışmalarına dayalı bir sınıflandırma veya dizinleme değildir. Kullanım veya kullanıcılar hakkında deneysel veriler uygulandığında, talep odaklı sınıflandırmanın bir kullanıcı temelli yaklaşım olarak kabul edilmesi gerekmektedir.

 Belgelerin Sınıflandırılması ve Konu Dizinlemesi 
Belgeleri sınıflandırma ve konuları belgelere atama arasında yapılan ayrım, Frederick Wilfrid Lancaster tarafından eleştirilmiştir. Lancaster'a göre, bu terminolojik ayrımlar anlamsızdır ve sadece karmaşaya yol açar (Lancaster, 2003, s. 21).

Bazıları, bu ayrımın yalnızca yüzeysel olduğunu savunur; zira bir sınıflandırma sisteminin bir eş anlamlılar sözlüğüne dönüştürülebileceği ve tersinin de geçerli olduğu gerçeği bunu desteklemektedir (Aitchison, 1986; 2004; Broughton, 2008; Riesthuis & Bliedung, 1991).

Bu bağlamda, bir belgeye etiketleme yapmak, örneğin bir kontrol edilen kelime dağarcığından bir terimi bir belgeye atayarak, o belgeyi o terim tarafından dizinlenen belgeler sınıfına atamakla aynıdır. Tüm X olarak dizinlenen veya sınıflandırılan belgeler aynı belge sınıfına aittir. Dolayısıyla, bir belgeye etiketleme yapmak, o belgeyi o etiket altında dizinlenen belgeler sınıfına atamakla aynı işlevi görür.

 Otomatik belge sınıflandırma (ADC) 
Otomatik belge sınıflandırma görevleri üç türe ayrılabilir:

 Denetimli Belge Sınıflandırması: Bu türde, belgelerin sınıflandırılması için doğru bilgi sağlayan bazı dış mekanizmalar bulunur. Örneğin, insan geri bildirimi gibi faktörler bu süreçte rol oynar.
 İnsan Geri Bildirimi: Bu yöntemde, insanların geri bildirimleri ve etiketlemeleri kullanılarak belgeler sınıflandırılır. İnsanlar, belgelerin hangi kategorilere veya sınıflara ait olduğunu belirlemek için kullanılır.
 Doğrudan Etiketleme : Belirli bir sınıf veya kategoriye ait olduğu doğrulanmış belgelere dayanarak, diğer belgelerin sınıflandırılması yapılır.
 Denetimsiz Belge Sınıflandırması (Belge Kümeleme): Bu türde, sınıflandırma tamamen dış bilgiye başvurmadan yapılması gerektiği prensibiyle işler. Belgeler arasındaki doğal ilişkilere dayanarak gruplar oluşturulur.
 Doğal İlişkilere Dayalı Sınıflandırma: Belgeler arasındaki benzerlikler ve ilişkiler üzerine odaklanarak gruplar oluşturulur. Bu yöntemde, belgelerin içeriği veya özellikleri kullanılarak benzer gruplar oluşturulur.
 Yarı Denetimli Belge Sınıflandırması: Bu türde, belgelerin bazı bölümleri dış mekanizma tarafından etiketlendiği halde, sınıflandırma sürecinin diğer kısımları denetimsiz veya denetimli olabilir.
 Kısmi Etiketleme: Belgelerin bazı kısımları, dış mekanizma veya insanlar tarafından etiketlenirken, diğer kısımları otomatik olarak sınıflandırılır.
 Karma Yöntemler: Hem denetimli hem de denetimsiz yöntemlerin bir kombinasyonu kullanılarak sınıflandırma yapılır. Bu yöntemde, insan geri bildirimi veya doğal ilişkilere dayalı gruplama gibi farklı teknikler bir arada kullanılabilir.

Bu görevler için çeşitli lisans modelleri altında birkaç yazılım ürünü mevcuttur.

 Teknikler 
Otomatik belge sınıflandırma teknikleri şunları içerir:

 Yapay Sinir Ağları
 Kavram Madenciliği
 ID3 veya C4.5 gibi Karar Ağaçları 
 Beklenti Maksimizasyonu (EM)
 Anlık olarak eğitilen sinir ağları
 Gizli Anlamsal İndeksleme
 Çoklu Örnek Öğrenme
 Naive Bayes Sınıflayıcı
 Doğal Dil İşleme Yaklaşımları
 Kaba Küme Tabanlı Sınıflayıcı
 Yumuşak Küme Tabanlı Sınıflayıcı
 Destek Vektör Makineleri (SVM)
 K-en Yakın Komşu Algoritmaları
 tf-idf

 Uygulamalar 
Sınıflandırma teknikleri şu alanlarda uygulanmıştır:

 Spam filtreleme: E-posta spam mesajlarını meşru e-postalardan ayırmaya çalışan bir süreç.
 E-posta yönlendirme: Genel bir adrese gönderilen bir e-postayı konuya bağlı olarak belirli bir adrese veya posta kutusuna yönlendirme.
 Dil tespiti: Bir metnin dilini otomatik olarak belirleme.
 Tür sınıflandırması: Bir metnin türünü otomatik olarak belirleme.
 Okunabilirlik değerlendirmesi: Bir metnin okunabilirlik derecesini otomatik olarak belirleme; farklı yaş grupları veya okuyucu türleri için uygun materyalleri bulmak veya daha büyük bir metin basitleştirme sisteminin bir parçası olarak.
 Duygu analizi: Konuyla ilgili bir konuşmacının veya yazarın tutumunu veya bir belgenin genel bağlamsal kutupluğunu belirleme.
 Sosyal medyada sağlıkla ilgili sınıflandırma: Halk sağlığı gözetiminde sosyal medyanın kullanımıyla ilgili sağlıkla ilgili sınıflandırma.
 Makale sıralama: Biyolojide el ile literatür kürasyonu için ilgili makaleleri seçme; örneğin, biyolojide manuel olarak kürasyon yapılacak veritabanlarının oluşturulmasının ilk adımı olarak yapılıyor.

 Kaynakça 

Kategori:Veri madenciliği
Kategori:Bilişim bilimi
Kategori:Makine öğrenimi
Kategori:Doğal dil işleme