Otomatik özetleme
Ticari ürünler > Belge özetleme > TextRank ve LexRank

Özetlemeye yönelik denetimsiz yaklaşım aynı zamanda denetimsiz anahtar sözcük çıkarmanın ruhuna oldukça benzer ve maliyetli eğitim verileri sorununun üstesinden gelir. Bazı denetimsiz özetleme yaklaşımları, belgedeki tüm cümlelerin ortalama sözcük vektörü olan bir " merkez " cümlesinin bulunmasına dayanır . Daha sonra cümleler bu merkez cümleye benzerliklerine göre sıralanabilir.
Cümlenin önemini tahmin etmenin daha ilkeli bir yolu, rastgele yürüyüşler ve özvektör merkeziliğini kullanmaktır. LexRank  temelde TextRank ile aynı olan bir algoritmadır ve her ikisi de belge özetleme için bu yaklaşımı kullanır. İki yöntem aynı anda farklı gruplar tarafından geliştirildi ve LexRank basitçe özetlemeye odaklandı, ancak anahtar sözcük çıkarma veya başka herhangi bir NLP sıralama görevi için de aynı kolaylıkla kullanılabilir.
Hem LexRank hem de TextRank'ta, belgedeki her cümle için bir köşe oluşturularak bir grafik oluşturulur.
Cümleler arasındaki kenarlar bir tür anlamsal benzerliğe veya içerik örtüşmesine dayanmaktadır. LexRank, TF-IDF vektörlerinin kosinüs benzerliğini kullanırken, TextRank, iki cümlenin ortak olduğu kelime sayısına (cümlelerin uzunluklarına göre normalleştirilmiş ) dayalı çok benzer bir ölçüm kullanır. LexRank makalesi, kosinüs değerlerine bir eşik uyguladıktan sonra ağırlıklandırılmamış kenarların kullanımını araştırdı, ancak aynı zamanda benzerlik puanına eşit ağırlıklara sahip kenarların kullanılmasıyla da deneyler yaptı. TextRank ağırlık olarak sürekli benzerlik puanlarını kullanır.
Her iki algoritmada da cümleler, ortaya çıkan grafiğe PageRank uygulanarak sıralanır. Özetin boyutunu sınırlamak için bir eşik veya uzunluk sınırı kullanılarak en üst sıradaki cümleler birleştirilerek bir özet oluşturulur.
TextRank'ın özetlemeye tam olarak burada açıklandığı gibi uygulandığını, LexRank'ın ise doğrusal bir kombinasyon kullanarak LexRank puanını (durağan olasılık) cümle konumu ve uzunluğu gibi diğer özelliklerle birleştiren daha büyük bir özetleme sisteminin (MEAD ) parçası olarak kullanıldığını belirtmek gerekir. kullanıcı tarafından belirlenen veya otomatik olarak ayarlanmış ağırlıklarla. Bu durumda bazı eğitim belgelerine ihtiyaç duyulabilir, ancak TextRank sonuçları ek özelliklerin kesinlikle gerekli olmadığını göstermektedir.
TextRank'tan farklı olarak LexRank, çoklu belge özetlemeye uygulanmıştır.
Çoklu belge özetleme, aynı konu hakkında yazılmış birden fazla metinden bilgi çıkarmayı amaçlayan otomatik bir prosedürdür. Sonuçta ortaya çıkan özet rapor, profesyonel bilgi tüketicileri gibi bireysel kullanıcıların, geniş bir belge kümesinde yer alan bilgilere hızlı bir şekilde alışmalarına olanak tanır. Bu şekilde, çok belgeli özetleme sistemleri, aşırı bilgi yüklemesiyle başa çıkma yolunda bir sonraki adımı gerçekleştiren haber toplayıcıları tamamlıyor . Bir soruya yanıt olarak çoklu belge özetleme de yapılabilir.
Çoklu belge özetleme, hem kısa hem de kapsamlı bilgi raporları oluşturur. Farklı görüşlerin bir araya getirilip ana hatlarıyla belirlendiği bu kitapta her konu, tek bir belgede birden fazla perspektiften anlatılıyor. Kısa bir özetin amacı, bilgi aramayı basitleştirmek ve en ilgili kaynak belgelere işaret ederek zamanı kısaltmak olsa da, kapsamlı çoklu belge özetinin kendisi gerekli bilgileri içermeli, dolayısıyla orijinal dosyalara erişme ihtiyacı, ayrıntılandırmanın gerekli olduğu durumlarla sınırlandırılmalıdır. gerekli. Otomatik özetler, herhangi bir editoryal dokunuş veya öznel insan müdahalesi olmadan, birden fazla kaynaktan algoritmik olarak alınan bilgileri sunar, böylece tamamen tarafsız hale gelir.