Metin madenciliği

Metin madenciliği, çalışmaları metni veri kaynağı olarak kabul eden veri madenciliği () çalışmasıdır. Diğer bir tanımla metin üzerinden yapısallaştırılmış veri elde etmeyi amaçlar. Metin madenciliği, metinlerin sınıflandırılması, bölütlenmesi (), metinlerden konu çıkarılması (), metinler için sınıf taneciklerinin üretilmesi (), metinlerde görüş analizi yapılması (), metin özetlerinin çıkarılması () ve metinin özü ile ilgili ilişki modellemesi () gibi çalışmaları hedefler.

Yukarıdaki hedeflere ulaşılması için metin madenciliği çalışmaları kapsamında enformasyon getirimi (), hece analizi (), kelime frekans dağılımı (), örüntü tanıma (), etiketleme (), enformasyon çıkarımı (), veri madenciliği () ve hatta görselleştirme () gibi yöntemleri kullanmaktadır.

Metin madenciliği çalışmaları, metin kaynaklı literatürdeki diğer bir çalışma alanı olan doğal dil işleme (, ) çalışmaları ile çoğu zaman beraber yürütülmektedir. Doğal dil işleme çalışmaları daha çok yapay zeka altındaki dil bilim bilgisine dayalı çalışmaları kapsamaktadır. Metin madenciliği çalışmaları ise daha çok istatistiksel olarak metin üzerinden sonuçlara ulaşmayı hedefler. Metin madenciliği çalışmaları sırasında çoğu zaman doğal dil işleme kullanılarak özellik çıkarımı da yapılmaktadır.

İnsan-yoğun elle metin madenciliği çalışmalarının 1980'lerin ortalarında başladığı söylenebilir, ancak teknolojik gelişmelerin ışığında konu 2000'lerden sonra parlamıştır. Metin madenciliği disiplinler arası bir çalışma alanı olup enformasyon getirimi, veri madenciliği, makine öğrenmesi, istatistik ve işlemsel dilbilim kavramlarının ortak çalışma alanıdır. Günümüzde enformasyonun büyük kısmı (bilimsel tahminlere göre %80'lik kısmı) metin olarak tutulmaktadır.. Bu yüzden metin madenciliği çalışmalarının yüksek ekonomik değeri olduğu ve olacağı söylenebilir. Ayrıca çok dilli veri madenciliği gibi farklı dillerden aynı özellikleri taşıyan değerlerin çıkarılması da güncel konulardandır.

"... makinelerin metinler üzerinde otomatik-özetleme veya otomatik-kodlama gibi işletmelerin ilgilendiği 'eylem noktalarını' ilgi çekici profiller haline getiren veri-işlem'den faydalanmaktır. Hem dışarıdan alınan hem de içeriden üretilen dökümanlar otomatik olarak özetlenebilir, kelime örüntülerine göre yorumlanabilir ve uygun işlere otomatik olarak yönlendirilebilir.

Her ne kadar enformasyon sistemleri 1960'larda başlasa da, iş zekası kavramının yazılım dünyasında kabul gören bir kategori haline dönüşmesi 80'ler ve 90'larda başlamıştır. Ardından metinin 'yapısız' özelliğinden dolayı işlenmesi zor bir hedef olarak seçilmesi ve metin analiz çalışmalarının başarısı için algoritmaların geliştirilmesi 1990'ların sonunu bulmuştur. Prof. Marti A. Hearst, 'Untangling Text Data Mining' başlıklı makalesinde bu konudan detaylıca bahseder.

Neredeyse 10 yıllık bir süreçte, işlenebilir dilbilim camiası, büyük metin kümelerini daha iyi bir metin analiz algoritması bulmak için inceledi. Bu makalede, yeni bir yaklaşım sunmak istiyorum: Büyük çevrimiçi metin birikimlerini dünyanın kendisi ile ilgili gerçekleri keşfetmek için kullanmayı öneriyorum. Bu önerimin arkasında, tamamen yapay zeka ile metin analizi yapan ve hatta işlemsel olarak veya kullanıcılar tarafından yönlendirilen analizlerin ötesinde, heyecan verici yeni bir kapı açmak isteği vardır.

Hearst'ün 1999 yılındaki bu makalesinden 10 yıl kadar sonra, metin madenciliği çalışmaları kabul gören ve çok sayıda uygulama alanı olan bir dünyaya dönüşmüştü.