Otomatik özetleme
Ticari ürünler > Anahtar kelime çıkarma > Denetimli öğrenme yaklaşımları

Turney'nin çalışmasından başlayarak  birçok araştırmacı, anahtar kelime çıkarımına denetimli bir makine öğrenme problemi olarak yaklaştı . Bir belge verildiğinde, metinde bulunan her bir unigram, bigram ve trigram için bir örnek oluştururuz (ancak aşağıda tartışıldığı gibi diğer metin birimleri de mümkündür). Daha sonra her örneği tanımlayan çeşitli özellikleri hesaplıyoruz (örneğin, ifade büyük harfle mi başlıyor?). Bir dizi eğitim belgesi için bilinen anahtar sözcüklerin mevcut olduğunu varsayıyoruz. Bilinen anahtar sözcükleri kullanarak örneklere olumlu veya olumsuz etiketler atayabiliriz. Daha sonra özelliklerin bir fonksiyonu olarak olumlu ve olumsuz örnekleri ayırt edebilen bir sınıflandırıcıyı öğreniyoruz. Bazı sınıflandırıcılar bir test örneği için ikili sınıflandırma yaparken diğerleri bir anahtar sözcük olma olasılığını atar. Örneğin, yukarıdaki metinde, ilk harfleri büyük olan ifadelerin büyük olasılıkla anahtar ifadeler olacağını söyleyen bir kural öğrenebiliriz. Bir öğrenciyi eğittikten sonra test belgeleri için anahtar sözcükleri aşağıdaki şekilde seçebiliriz. Aynı örnek oluşturma stratejisini test belgelerine uyguluyoruz, ardından her örneği öğrenci aracılığıyla çalıştırıyoruz. Öğrenilen modelimiz tarafından döndürülen ikili sınıflandırma kararlarına veya olasılıklara bakarak anahtar sözcükleri belirleyebiliriz. Olasılıklar verilirse anahtar sözcükleri seçmek için bir eşik kullanılır. Anahtar sözcük çıkarıcılar genellikle kesinlik ve geri çağırma kullanılarak değerlendirilir . Hassasiyet, önerilen anahtar sözcüklerden kaçının gerçekte doğru olduğunu ölçer. Geri çağırma, sisteminizin önerdiği gerçek anahtar sözcüklerden kaç tanesini ölçer. İki ölçüm, ikisinin harmonik ortalaması olan bir F-puanında birleştirilebilir (F  = 2 PR /(P  +  R ) ). Önerilen anahtar sözcükler ile bilinen anahtar sözcükler arasındaki eşleşmeler, kök çıkarma veya başka bir metin normalleştirmesi uygulandıktan sonra kontrol edilebilir.
Denetimli bir anahtar sözcük çıkarma sistemi tasarlamak, çeşitli seçeneklere karar vermeyi içerir (bunlardan bazıları denetimsiz olanlar için de geçerlidir). İlk tercih tam olarak örneklerin nasıl oluşturulacağıdır. Turney ve diğerleri, olası tüm unigramları, bigramları ve trigramları, noktalama işaretlerine müdahale etmeden ve engellenen sözcükleri kaldırdıktan sonra kullandılar. Hulth, konuşma parçası etiketlerinin belirli kalıplarıyla eşleşen simge dizileri olacak örnekleri seçerek bir miktar ilerleme elde edebileceğinizi gösterdi. İdeal durumda, örnek oluşturma mekanizması bilinen tüm etiketli anahtar sözcükleri aday olarak üretir, ancak bu çoğu zaman böyle değildir. Örneğin, yalnızca unigram, bigram ve trigram kullanırsak, dört kelime içeren bilinen bir anahtar kelimeyi hiçbir zaman çıkaramayız. Bu nedenle hatırlama zarar görebilir. Ancak çok fazla örnek oluşturmak aynı zamanda düşük hassasiyete de yol açabilir.
Ayrıca örnekleri açıklayan ve bir öğrenme algoritmasının anahtar sözcükleri anahtar sözcükler olmayanlardan ayırt etmesine olanak tanıyacak kadar bilgilendirici özellikler de oluşturmamız gerekir. Tipik olarak özellikler, çeşitli terim sıklıklarını (mevcut metinde veya daha büyük bir derlemede bir ifadenin kaç kez göründüğünü), örneğin uzunluğunu, ilk geçtiği yerin göreceli konumunu, çeşitli boole sözdizimsel özelliklerini (örneğin, tüm büyük harfleri içerir) vb. içerir. Turney gazetesi bu tür yaklaşık 12 özelliği kullandı. Hulth, Turney'nin ufuk açıcı makalesinden türetilen KEA (Anahtar Sözcük Çıkarma Algoritması) çalışmasında en başarılı bulunan, azaltılmış bir dizi özellik kullanıyor.
Sonunda sistemin bir test belgesi için bir anahtar sözcük listesi döndürmesi gerekecek, bu nedenle sayıyı sınırlamanın bir yolunu bulmamız gerekiyor. Kullanıcı tarafından sağlanan sayıda anahtar sözcük sağlamak üzere eşiklendirilebilen sayısal puanlar üretmek için topluluk yöntemleri (yani çeşitli sınıflandırıcılardan gelen oyların kullanılması) kullanılmıştır. Bu Turney tarafından C4.5 karar ağaçlarıyla kullanılan tekniktir. Hulth, öğrenme algoritmasının uygun sayıyı dolaylı olarak belirlemesi için tek bir ikili sınıflandırıcı kullandı.
Örnekler ve özellikler oluşturulduktan sonra anahtar sözcükleri tahmin etmeyi öğrenmenin bir yoluna ihtiyacımız var. Karar ağaçları, Naive Bayes ve kural çıkarımı gibi hemen hemen her türlü denetimli öğrenme algoritması kullanılabilir . Turney'nin GenEx algoritması durumunda, alana özgü bir anahtar sözcük çıkarma algoritmasının parametrelerini öğrenmek için bir genetik algoritma kullanılır. Çıkarıcı, anahtar sözcükleri tanımlamak için bir dizi buluşsal yöntemi takip eder. Genetik algoritma, bilinen anahtar ifadelere sahip eğitim belgelerindeki performansa göre bu buluşsal yöntemlere ilişkin parametreleri optimize eder.