Sıralama öğrenmesi

Sıralama öğrenmesiTie-Yan Liu (2009), "Learning to Rank for Information Retrieval", Foundations and Trends in Information Retrieval.  doi:10.1561/1500000016  , ISBN 978-1-60198-244-5.Tie-Yan Liu'nun 2009 WWW konferansındaki konuşmasından slaytlara buradan erişebilirsiniz. (Learning to Rank) ya da makine öğrenimiyle sıralama (Machine-Learned Ranking – MLR), bilgi erişim sistemleri için sıralama modellerinin oluşturulmasında makine öğrenmesinin – genellikle denetimli, yarı denetimli ya da pekiştirmeli öğrenme (reinforcement learning) – uygulanmasıdır.Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012), Makine Öğrenmesinin Temelleri, MIT Yayınları, ISBN 9780262018258.

Eğitim verileri, örneğin, her bir liste içindeki öğeler arasında belirli bir kısmi sıralama belirtilmiş olan öğe listelerinden oluşabilir. Bu sıralama genellikle, her bir öğeye verilen sayısal ya da sırasal bir puanlama ya da ikili bir değerlendirme (örneğin “ilgili” veya “ilgisiz”) yoluyla elde edilir.

Sıralama modelinin oluşturulmasındaki amaç, yeni ve daha önce görülmemiş listeleri, eğitim verilerindeki sıralamalara benzer şekilde sıralayabilmektir.

 Uygulamalar 

 Bilgi Erişimde 
Sıralama, belge getirme, işbirlikli filtreleme, duygu analizi ve çevrim içi reklamcılık gibi birçok bilgi erişim problemi için merkezî bir bileşendir.
küçükresim|Makine öğrenimi tabanlı bir arama motorunun olası mimarisi
Makine öğrenimi tabanlı bir arama motorunun olası bir mimarisi, ekteki şekilde gösterilmiştir.

Eğitim verisi, sorgular ile onlara eşleşen belgelerden ve her bir eşleşmenin ilişkililik derecesinden oluşur. Bu veriler, bazı sorgular için elde edilen sonuçları kontrol eden ve her bir sonucun ilişkililiğini belirleyen değerlendiriciler (Google bu kişilere “değerlendirici” – rater – demektedir) tarafından elle hazırlanabilir. Ancak, tüm belgelerin ilişkililiğini değerlendirmek mümkün olmadığından, genellikle pooling adı verilen bir teknik kullanılır — yalnızca mevcut sıralama modelleri tarafından getirilen en üstteki birkaç belge kontrol edilir. Bu teknik, seçim yanlılığına (selection bias) neden olabilir. Alternatif olarak, eğitim verisi otomatik şekilde de elde edilebilir; örneğin tıklama kayıtları (kullanıcıların tıkladığı arama sonuçları) Joachims, T. (2002). Tıklama Verilerini Kullanarak Arama Motorlarını Optimize Etmek  (Orijinal Adı: Optimizing Search Engines using Clickthrough Data ) (PDF). Bilgi Keşfi ve Veri Madenciliği Üzerine ACM Konferansı Bildirileri. 29 Aralık 2009 tarihinde  (PDF), 11 Kasım 2009 tarihinde erişilmiştir., sorgu zincirleriJoachims, T. & Radlinski, F. (2005). Sorgu Zincirleri: Dolaylı Geri Bildirimden Sıralama Öğrenimi  (Orijinal Adı: Query Chains: Learning to Rank from Implicit Feedback ) (PDF). Bilgi Keşfi ve Veri Madenciliği Üzerine ACM Konferansı Bildirileri. arXiv:cs/0605035, Bibcode:2006cs........5035R, arşivlenmiş. ya da Google’ın sonradan kaldırılan SearchWiki gibi arama motoru özelliklerinin analiz edilmesiyle.

Tıklama kayıtları da kullanıcıların üst sıralarda çıkan sonuçlara “zaten iyi sıralanmıştır” varsayımıyla tıklama eğiliminde olması nedeniyle yanlı olabilir.

Eğitim verisi, bir öğrenme algoritması tarafından kullanılarak, gerçek sorgular için belgelerin ilişkililik derecelerini hesaplayan bir sıralama modeli üretmek amacıyla kullanılır.

Kullanıcılar genellikle bir arama sorgusunun çok kısa sürede (örneğin web aramalarında birkaç yüz milisaniye içinde) tamamlanmasını bekler. Bu nedenle, veri kümesindeki her belge üzerinde karmaşık bir sıralama modelinin değerlendirilmesi mümkün değildir. Bu sebeple iki aşamalı bir yaklaşım benimsenir.Cambazoğlu, B., Zaragoza, H., Chapelle, O., Chen, J., Liao, C., Zheng, Z. & Degenhardt, J. (2010). Toplamalı Makine Öğrenmeli Sıralama Sistemleri için Erken Çıkış İyileştirmeleri (Orijinal Adı: Early exit optimizations for additive machine learned ranking systems )(PDF). WSDM '10: Üçüncü ACM Uluslararası Web Arama ve Veri Madenciliği Konferansı Bildirileri.

İlk aşamada, vektör uzayı modeli, Boole modeli, ağırlıklı AND<ref>Broder, A., Carmel, D., Herscovici, M., Soffer, A. & Zien, J. (2003). İki Seviyeli Getirme Süreci Kullanarak Etkin Sorgu Değerlendirme (Orijinal Adı: ') (PDF). On İkinci Uluslararası Bilgi ve Bilgi Yönetimi Konferansı Bildirileri, ss. 426–434. doi:10.1145/956863.956944 , ISBN: , S2CID: 2432701 . 21 Mayıs 2009 tarihinde arşivlenmiştir (PDF), 15 Aralık 2009 tarihinde erişilmiştir.</ref> ya da BM25 gibi hızlı sorgu değerlendirmesine imkân tanıyan daha basit erişim modelleri kullanılarak, potansiyel olarak ilişkili az sayıda belge belirlenir. Bu aşamaya ilk k belge getirme (top-k retrieval) adı verilir. Bu süreci hızlandırmak amacıyla, belgelerin statik kalite puanları ve katmanlı indeksleme (tiered indexing) gibi çeşitli sezgisel yöntemler önerilmiştir.Manning, C., Raghavan, P. & Schütze, H. (2008). Bilgi Getirmeye Giriş (Orijinal Adı: Introduction to Information Retrieval). Cambridge University Press. Bölüm 7.1, 19 Temmuz 2009 tarihinde Wayback Machine üzerinde arşivlenmiştir.

İkinci aşamada ise, daha doğru ancak hesaplama açısından daha maliyetli olan bir makine öğrenimi tabanlı sıralama modeli, bu belgelerin yeniden sıralanması için kullanılır.

 Diğer alanlarda 
Sıralama öğrenme (Learning to Rank) algoritmaları, bilgi erişiminin dışında kalan alanlarda da uygulanmıştır:

 Makine çevirisi alanında, öne sürülen çeviri adaylarının sıralanmasında;Duh, K. K. (2009). Kısmi Etiketlenmiş Verilerle Sıralama Öğrenme  (Orijinal Adı: Learning to Rank with Partially-Labeled Data ) (PDF). 20 Temmuz 2011 tarihinde orijinalinden arşivlenmiştir (PDF), 27 Aralık 2009 tarihinde erişilmiştir.
 Hesaplamalı biyoloji alanında, protein yapı tahmini problemlerinde aday 3 boyutlu yapıların sıralanmasında;
 Tavsiye sistemlerinde, bir haber makalesi okunduktan sonra kullanıcıya önerilecek ilgili haberlerin sıralı bir listesinin belirlenmesindeLv, Y., Moon, T., Kolari, P., Zheng, Z., Wang, X., & Chang, Y. (2011). Haber Önerisi İçin İlişkililiği Modelleme Öğrenme (Learning to Model Relatedness for News Recommendation). Dünya Çapında Web Konferansı (WWW). Wayback Makinesi'nde 27 Ağustos 2011 tarihinde arşivlenmiştir..

 Özellik vektörleri 
MLR (Sıralama Öğrenme) algoritmalarının kolaylığı açısından, sorgu-belge çiftleri genellikle "özellik vektörleri" olarak adlandırılan sayısal vektörlerle temsil edilir. Bu yaklaşım bazen "özellik torbası" (bag of features) olarak adlandırılır ve belgelerin temsilinde kullanılan "kelime torbası" (bag of words) ve "vektör uzayı modeli" (vector space model) ile benzerlik gösterir.

Bu vektörlerin bileşenlerine özellik (feature), faktör (factor) ya da sıralama sinyali (ranking signal) denir. Bu özellikler üç gruba ayrılabilir (belge getirme örnekleri üzerinden):

 Sorgudan bağımsız (statik) özellikler: Sadece belgeye bağlı olan, sorguya bağlı olmayan özelliklerdir. Örneğin, PageRank değeri veya belgenin uzunluğu. Bu tür özellikler, indeksleme sırasında çevrimdışı (off-line) olarak önceden hesaplanabilir. Bu özellikler genellikle belgenin statik kalite puanını (static quality score) veya statik sırasını (static rank) hesaplamakta kullanılır ve bu sayede arama sorgularının değerlendirilmesi hızlandırılabilirRichardson, M., Prakash, A., & Brill, E. (2006). PageRank Ötesi: Statik Sıralama İçin Makine Öğrenmesi (Beyond PageRank: Machine Learning for Static Ranking). 15. Uluslararası Dünya Çapında Web Konferansı (WWW), 707–715. 15 Ağustos 2009'da orijinalinden arşivlenmiştir. 18 Kasım 2009'da erişilmiştir..
 Sorguya bağlı (dinamik) özellikler: Hem belge içeriğine hem de sorguya bağlı olan özelliklerdir. Örneğin, TF-IDF skoru veya diğer makine öğrenmesi tabanlı olmayan sıralama fonksiyonları bu gruba girer.
 Sorgu düzeyinde özellikler: Sadece sorguya bağlı olan özelliklerdir. Örneğin, sorgudaki kelime sayısı.LETOR veri setinde kullanılan bazı özellik örnekleri:

 Belgenin farklı bölgeleri (başlık, gövde, bağlantı metni, URL) için verilen sorguya göre hesaplanan TF, TF-IDF, BM25 ve dil modeli skorları;
 Belge bölgelerinin uzunlukları ve IDF toplamları;
 Belgenin PageRank değeri, HITS sıralamaları ve bunların türevleri.İyi özellikleri seçmek ve tasarlamak, makine öğrenmesinde "özellik mühendisliği" (feature engineering) olarak bilinen önemli bir çalışma alanıdır. Değerlendirme metrikleri 
Bir algoritmanın eğitim verisi üzerindeki başarımını değerlendirmek ve farklı Sıralama Öğrenme (MLR) algoritmalarını karşılaştırmak için yaygın olarak kullanılan çeşitli ölçüm metrikleri vardır. Genellikle, sıralama öğrenme problemleri bu metriklerden birine göre optimize edilecek şekilde yeniden biçimlendirilir.

Sıralama kalitesini ölçmede kullanılan bazı örnek metrikler şunlardır:

 Ortalama ortalama kesinlik (Mean Average Precision - MAP);
 DCG (Discounted Cumulative Gain) ve normalize edilmiş hali olan NDCG;
 Precision@n, NDCG@n – burada "@n", metriklerin yalnızca en üstteki n belge üzerinden hesaplandığını belirtir;
 Ortalama karşılıklı sıra (Mean Reciprocal Rank - MRR);
 Kendall’ın tau katsayısı;
 Spearman’ın rho katsayısı.

DCG ve onun normalize edilmiş versiyonu NDCG, birden fazla alaka düzeyinin kullanıldığı akademik araştırmalarda genellikle tercih edilir."Arşivlenmiş kopya". 4 Ocak 2011'de orijinalinden arşivlenmiştir. 14 Aralık 2009'da erişilmiştir. Diğer metrikler — örneğin MAP, MRR ve precision — yalnızca ikili (binary) yargıların (yani belge alakalı mı değil mi gibi) olduğu durumlarda tanımlanmıştır.

Son zamanlarda, kullanıcının arama sonuçlarından aldığı memnuniyeti DCG'den daha iyi modellediği iddia edilen bazı yeni değerlendirme metrikleri önerilmiştir:

 Beklenen karşılıklı sıra (Expected Reciprocal Rank - ERR);Chapelle, Olivier; Metzler, Donald; Zhang, Ya; Grinspan, Pierre (2009). "Graded Relevance için Beklenen Karşılıklı Sıra" (Expected Reciprocal Rank for Graded Relevance) (PDF), CIKM, 24 Şubat 2012'de orijinalinden arşivlenmiştir.
 Yandex'in pfound metriği.Gulin A.; Karpovich P.; Raskovalov D.; Segalovich I. (2009). "Yandex at ROMIP'2009: Sıralama Algoritmalarının Makine Öğrenmesi Yöntemleriyle Optimizasyonu" (Yandex at ROMIP'2009: Optimization of Ranking Algorithms by Machine Learning Methods) (PDF), Proceedings of ROMIP'2009: 163–168, 22 Kasım 2009'da orijinalinden arşivlenmiştir, 13 Kasım 2009'da erişilmiştir (Rusça).

Bu iki metrik de, kullanıcının daha alakalı bir belgeyi gördükten sonra arama sonuçlarına bakmayı bırakma olasılığının daha az alakalı bir belgeye göre daha yüksek olduğu varsayımına dayanır.

 Yaklaşımlar 
Sıralama öğrenme (Learning to Rank) yaklaşımları genellikle üç ana kategori altında sınıflandırılır:

 Noktasal yaklaşım (pointwise): Her belge tek başına değerlendirilir ve puanlanarak sıralanır.
 Çiftli yaklaşım (pairwise): Belge çiftleri karşılaştırılır ve göreli sıraları belirlenir.
 Liste tabanlı yaklaşım (listwise): Tüm belge listesi birlikte değerlendirilir ve doğrudan sıralanır.

Microsoft Research Asia'dan Tie-Yan Liu, bilgi erişim için sıralama öğrenme problemlerine yönelik mevcut algoritmaları Learning to Rank for Information Retrieval adlı kitabında incelemiştir. Liu, bu algoritmaları giriş uzayları (input spaces), çıkış uzayları (output spaces), hipotez uzayları (modelin temel fonksiyonu) ve kayıp fonksiyonlarına (loss functions) göre üç grupta sınıflandırmıştır: noktasal (pointwise), çiftli (pairwise) ve liste tabanlı (listwise) yaklaşımlar.Pratikte, liste tabanlı yaklaşımların genellikle çiftli ve noktasal yaklaşımlardan daha iyi performans gösterdiği görülmüştür. Bu görüş, farklı sıralama öğrenme yöntemlerinin büyük bir kıyaslama veri kümesi üzerinde yapılan geniş çaplı bir deneyle de desteklenmiştir.Tax, Niek; Bockting, Sander; Hiemstra, Djoerd (2015). "87 Sıralama Öğrenme Yönteminin Çapraz-Karşılaştırmalı Bir Değerlendirmesi" (A Cross-Benchmark Comparison of 87 Learning to Rank Methods) (PDF), Information Processing & Management, 51 (6): 757–772, doi:10.1016/j.ipm.2015.07.002, S2CID 22782599, 9 Ağustos 2017'de orijinalinden arşivlenmiştir, 15 Ekim 2017'de erişilmiştir.Bu bölümde, aksi belirtilmedikçe: x: Değerlendirilecek nesneyi (örneğin bir belge veya görsel) temsil eder.
 f(x): Tek değerli (skalar) bir hipotez fonksiyonunu temsil eder.
 h(⋅): İki veya daha çok değişkenli bir fonksiyonu gösterir.
 L(⋅): Kayıp fonksiyonunu ifade eder.

 Noktasal yaklaşım (Pointwise) 
Bu durumda, eğitim verilerindeki her bir sorgu-belge çifti için sayısal ya da sıralı bir skor olduğu varsayılmaktadır. O zaman, öğrenmeye dayalı sıralama problemi bir regresyon problemi olarak yaklaşık bir şekilde ele alınabilir — tek bir sorgu-belge çifti verildiğinde, skorunu tahmin etmek. Matematiksel olarak, noktasal yaklaşım, bir belge x'in gerçek değeri ya da sıralı skorunu tahmin eden bir f(x) fonksiyonunu öğrenmeyi amaçlar ve bu öğrenme, L(f; xₗ, yₗ) kayıp fonksiyonu ile yapılır.

Mevcut birçok denetimli makine öğrenimi algoritması, bu amaçla kolayca kullanılabilir. Sıralı regresyon ve sınıflandırma algoritmaları, noktasal yaklaşımda tek bir sorgu-belge çiftinin skorunu tahmin etmek için kullanıldığında, küçük ve sonlu bir değerler kümesi alacak şekilde uygulanabilir.Kılıç, Y. O., Learning to Rank , Bilgisayar Mühendisliği Lisans Tezi, İsk Üniversitesi, 2008.

 Sıralama için Çok Sınıflı Sınıflandırma (Multi-class Classification for Ranking) 
Li ve arkadaşları tarafından McRank önerilmiştir Li, P.; Burges, C. J. C.; Wu, Q. (2008). McRank: Çoklu Sınıflandırma ve Artımlı İyileştirme (Gradient Boosting) Kullanarak Sıralama Öğrenimi  (McRank: Learning to Rank Using Multiple Classification and Gradient Boosting). NIPS, MIT Press.; burada sıralama modelleri oluşturmak için çok sınıflı sınıflandırma (multi-class classification) kullanılmıştır.

Diyelim ki, belge koleksiyonumuz  ve ilgili alaka etiketleri (relevance labels)  sorgu q ile ilişkilendirilmiştir.

Bu durumda,  üzerinde 'yi tahmin eden birçok sınıflı sınıflayıcımız (multi-class classifier) olduğunu söyleyebiliriz.

Bu sınıflayıcı için kayıp fonksiyonu (loss function) şu şekilde tanımlanmıştır:

burada I gösterge fonksiyonudur (indicator function) .
Sınıflandırma sonuçlarını sıralama skorlarına (ranking scores) dönüştürmek için, sınıflayıcı çıktıları bir olasılık dağılımına (probability distribution) çevrilir. Bu dağılım, bir belgenin belirli bir kategoriye ait olma olasılığını gösterir.

Bu olasılığı şu şekilde tanımlayabiliriz:

burada K, kategori sayısını (number of categories) ifade eder.

Sonrasında, nihai sıralama skoru fonksiyonu (final ranking score function) şöyle tanımlanır:

 Regresyon ile Alt Küme Sıralaması (Subset Ranking with Regression) 
Cossock ve Zahn Fuhr, N. (1989). Olasılık Sıralama İlkesi Tabanlı Optimum Polinomial Getirme Fonksiyonları  (Optimum Polynomial Retrieval Functions Based on the Probability Ranking Principle). ACM Bilgi Sistemleri İşlemleri (ACM Transactions on Information Systems), 7, 183–204. Temmuz 1989., sıralama (ranking) problemini bir regresyon (regression) problemine indirgeme yaklaşımını önermiştir. Varsayalım ki, bir skorlama fonksiyonu (scoring function) olan f, bir sorguya (query) ait belgeler kümesi  üzerinde sıralama yapmak için kullanılmaktadır ve bu belgeler, ilgili alaka etiketleri (relevance labels)  ile ilişkilidir. Bu yaklaşımda, kayıp fonksiyonu (loss function) bir regresyon kaybı (regression loss) olarak şu şekilde formüle edilmiştir:

 Diğer Noktasal (Point-wise) Algoritmalar 
Chu ve Ghahramani Chu, W. ve Ghahramani, Z. (2004). Sıralı Regresyon için Gaussian Süreçleri (Gaussian Processes for Ordinal Regression). Makine Öğrenmesi Araştırmaları Dergisi (Journal of Machine Learning Research), 6, 2005., sıralı regresyon (ordinal regression) için olasılıksal bir çekirdek (probabilistic kernel) yaklaşımı önermektedir; bu yaklaşım, Gaussian süreçleri (Gaussian process) üzerine kuruludur. İki çıkarım (inference) tekniği kullanmaktadırlar: Laplace yaklaşımı (Laplace approximation) ve beklenti yayılımı algoritması (expectation propagation algorithm). Bu teknikleri daha önceki sıralı regresyon modelleriyle karşılaştırmışlar ve kullandıkları veri kümeleri üzerinde yöntemlerinin faydalı olduğunu rapor etmişlerdir.

Cooper ve arkadaşları Cooper, W. S., Gey, F. C. ve Dabney, D. P. (1992). Kademeli Lojistik Regresyona Dayalı Olasılıksal Getirim (Probabilistic Retrieval Based on Staged Logistic Regression). 15. Uluslararası ACM SIGIR Bilgi Erişiminde Araştırma ve Geliştirme Konferansı Bildirileri (Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval), 198–210., istatistiksel bağımsızlık varsayımları (statistical independence assumptions) ile çoklu regresyon analizini (multiple regression analysis) ek bir hesaplama karmaşıklığına neden olmadan birleştirmiştir. Yaklaşımlarının en önemli unsuru, regresyon analizinin iki veya daha fazla düzeyde (stage) gerçekleştirilmesidir. Bu yöntem, bileşik (composite) veya gruplanmış (grouped) erişim ipuçlarının önce gruplar içinde, ardından gruplar arasında analiz edilmesine olanak sağlamaktadır.

Crammer ve Singer Crammer, K. ve Singer, Y. (2001). Sıralama ile Şaka Yapmak  (Pranking with Ranking). Nöral Bilgi İşleme Sistemlerinde İlerlemeler 14 (Advances in Neural Information Processing Systems 14), 641–647., sıralama (ranking) problemini ele almıştır. Kendi çerçevelerinde, her örnek (instance) bir sıralama (rank) veya derecelendirme (rating) ile ilişkilidir ve bu değerler 1'den k'ya kadar değişmektedir. Amaç, minimum kayıp değerine sahip bir sıralama tahmin kuralı (rank prediction rule) bulmaktır. Bu hedef için, PRank adlı çevrimiçi bir sıralama algoritması (online ranking algorithm) geliştirmişlerdir.

Gey Gey, F. C. (1994). Lojistik Regresyon Yöntemi Kullanarak İlgililik Olasılığının Çıkarımı (Inferring Probability of Relevance Using the Method of Logistic Regression). 17. Uluslararası ACM SIGIR Bilgi Erişimi Araştırma ve Geliştirme Konferansı (Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval), 222–231., olasılıksal metin ve belge erişimi (probabilistic text and document retrieval) için bir model önermektedir ve bu model lojistik regresyon (logistic regression) tekniklerini kullanmaktadır. Bu modele "lojistik çıkarım" (logistic inference) adını vermektedirler. Her istatistiksel ipucunun dağılımı, ortalaması 0 ve standart sapması 1 olacak şekilde standartlaştırıldığında, eğitim kümesinden türetilmiş lojistik katsayıların (logistic coefficients) başka bir kümeye uygulanabileceği ilkesine dayanırlar. Modeli, bilinen veri kümeleri üzerinde uygulamışlar ve başarılı sonuçlar elde etmişlerdir.

Nallapati Nallapati, R. (2004). Bilgi Erişim İçin Ayrıştırıcı Modeller (Discriminative Models for Information Retrieval ). 27. Uluslararası ACM SIGIR Bilgi Erişimi Araştırma ve Geliştirme Konferansı (Proceedings of the 27th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval), 64–71., ayrıştırıcı sınıflayıcıların (discriminative classifiers) bilgi erişimde uygulanabilirliğini araştırmıştır. En yüksek entropi (maximum entropy) ve destek vektör makineleri (support vector machines - SVM) gibi iki popüler ayrıştırıcı model ile dil modellemesini (language modeling) karşılaştırmıştır. Deneyler, en yüksek entropi yönteminin dil modelinden belirgin şekilde daha kötü performans gösterdiğini, destek vektör makinelerinin ise dil modelleme ile benzer düzeyde sonuçlar verdiğini göstermiştir.

 İkili yaklaşım (Çiftler bazında yaklaşım) 
Nokta-tabanlı (point-wise) yaklaşımlarda her bir belgenin sorguya göre alaka düzeyini bulmaya çalışmak yerine, çiftler-tabanlı (pair-wise) yaklaşım iki belge arasındaki göreli sıralamayı bulmaya odaklanır. Bu sebeple, çiftler-tabanlı yaklaşımın sıralama kavramına nokta-tabanlı yaklaşımdan daha yakın olduğunu söyleyebiliriz. Sıralama problemi, belge çiftleri üzerinde bir sınıflandırma problemi olarak ele alınır. Öğrenmenin amacı, yanlış sınıflandırılan belge çiftlerinin sayısını en aza indirmektir. Dolayısıyla, eğer tüm belge çiftleri doğru şekilde sınıflandırılmışsa, bu durum sorgu q'ya ait tüm belge listesinin doğru şekilde sıralandığı anlamına gelir.

Çiftler-tabanlı yaklaşımda, giriş uzayı (input space), özellik vektörleri (feature vectors) ile temsil edilen belge çiftlerinden oluşur. Çıkış uzayı (output space) ise, çiftlerdeki belgeler arasındaki tercih etiketlerini (preference labels) içerir. Bu çıkış değerleri genellikle 1 ve -1 olarak alınır ve belgeler arasındaki tercih ilişkisini gösterir. Hipotez uzayı (hypothesis space), verilen belge çiftleri arasındaki göreli sıralamayı hesaplayan h fonksiyonlarından oluşur. Kayıp fonksiyonu (loss function) ise, h fonksiyonlarının çıktısı ile gerçek (ground truth) etiketler arasındaki tutarsızlığı ölçer.

 RankBoost RankBoost Freund, Y., Iyer, R., Schapire, R. E., ve Singer, Y. (2003). Tercihleri birleştirmek için etkili bir boosting algoritması  (An efficient boosting algorithm for combining preferences). Journal of Machine Learning Research, 4, 933-969., belge çiftleri (document pairs) üzerinde sınıflandırma yapmak için AdaBoost Freund, Y. ve Schapire, R. E. (1995). Çevrimiçi öğrenmenin karar kuramı temelli bir genellemesi ve boosting'e bir uygulaması (A decision-theoretic generalization of on-line learning and an application to boosting). Proceedings of the Second European Conference on Computational Learning Theory, ss. 23-37. algoritmasını temel alır. AdaBoost algoritması, her bir belgeyi (single document) ayrı ayrı sınıflandırırken, RankBoost algoritması belge çiftlerini sınıflandırır. RankBoost algoritması, belge çiftleri üzerinde bir dağılım (distribution) tanımlar ve bu dağılımı, mevcut seçilen zayıf sıralayıcıların (weak rankers) kayıp (loss) değerine göre günceller.

Bir belge çifti  için dağılım (distribution) D değeri şu şekilde tanımlanır:

Burada ϕ,  ve  arasındaki gerçeğe uygun belge çiftleri tercih sırasını (ground truth pair-wise preference) çıktılar. Bu çıktı:

 Eğer ,'ye tercih ediliyorsa −1,
 İkisi eşit tercih ediliyorsa 0,
 , 'e tercih ediliyorsa +1 olarak tanımlanır.

c, bir normalizasyon katsayısıdır; çünkü aşağıdaki şartı sağlaması gerekir:

Son sıralama (final ranking), eğitim (training) sırasında seçilen zayıf sıralayıcılar (weak rankers) ve onlara atanan ağırlıklar (weights) ile oluşturulur. RankBoost algoritması, sıralayıcıları, belgelerin özellik vektörleri (feature vector) içindeki her bir özelliğin doğrusal sıralamasını (linear ordering) çıktıladığı fonksiyonlar olarak tanımlar.

Her iterasyonda, bir zayıf sıralayıcı hₜ seçilir ve ona bir t ağırlığı atanır. Ağırlık t'yi atamak için üç yaklaşım vardır:

 hₜ için herhangi bir zayıf sıralayıcıda, normalizasyon faktörü Zₜ t'nin bir fonksiyonu olarak temsil edilebilir. Faktör değerinin benzersiz minimumu, t'nin değeri olarak verilir.
 Bu yaklaşım, hₜ'nin değeri [0, 1] aralığında olduğunda uygulanabilir. Zₜ şu şekilde minimize edilir: Her    için                                                                                                             daha sonra                                                                                                                                                    
 Bu yaklaşım, Zₜ'nin yaklaşık hesaplanmasına dayanmaktadır ve fₜ'nin değeri [0, 1] aralığında olduğunda uygulanabilir. Şu şekilde tanımlanır:

Daha sonra

Algoritmanın tasarımcıları, t'yi bulmak için üçüncü yöntemi seçmiştir.

Bir sıralayıcı (ranker) için r değeri şu şekilde tanımlanır:

burada:

olarak tanımlanır ve belge x'in potansiyeli olarak adlandırılır. Potansiyel , her iterasyonda mevcut dağılımdan hesaplanır.

Her iterasyon adımında, t'yi minimize etmek için, r'yi maksimize eden zayıf sıralayıcı (weak ranker) seçilir. İterasyonların sonunda, seçilen zayıf sıralayıcılar ve onlara ait ağırlıklar, nihai sıralama fonksiyonunu oluşturur.

 Ranking SVM 
Ranking SVM Herbrich, R., Graepel, T. ve Obermayer, K. (2000). Sıralı regresyon için geniş marj sıralama sınırları  (Large Margin Rank Boundaries for Ordinal Regression). Advances in Large Margin Classifiers, ss. 115-132, Cambridge, MA., çiftli sınıflandırma için SVM kullanır. Verilen sorgu kümesi  biçiminde belge çiftleri üretilir. Dikkat edilmesi gereken nokta, belge çiftlerinin her bir sorgu için ayrı ayrı üretildiğidir. Yani, belgeler farklı sorgulardan çiftleştirilmez. çifti arasındaki çift yönlü tercihlerin gerçek etiket değeri olarak gösterilir.

Ranking SVM'in formülasyonu şu şekilde verilmiştir:

 terimi, model w'nun karmaşıklığını kontrol eder. Geleneksel SVM'den farklı olarak, kısıtlamalar belge çiftlerinden oluşturulur. Ranking SVM'deki kayıp fonksiyonu, belge çiftleri üzerinde tanımlanan hinge loss'tur.
Ranking SVM, SVM çerçevesinden birçok özelliği miras aldığı için, marjini maksimize etme yardımıyla iyi bir genelleme yeteneğine sahip olabilir. Ayrıca, Kernel (çekirdek) yöntemleri Ranking SVM'ye uygulanabilir, bu sayede karmaşık doğrusal olmayan problemler de çözülebilir.

 Diğer Çift-Yönlü (Pair-wise) Algoritmalar 
Burges ve arkadaşları Burges, C., Shaked, T., Renshaw, E., Lazier, A., Deeds, M., Hamilton, N. ve Hullender, G., Gradient descent kullanarak sıralama öğrenimi  (Learning to rank using gradient descent), NIPS, 2005., sıralama fonksiyonlarını öğrenmek için gradyan iniş yöntemlerini incelemiştir. Bu çalışmada, basit bir olasılıksal maliyet fonksiyonu ile bu maliyet fonksiyonunu en aza indirmek amacıyla geliştirilmiş, sinir ağı tabanlı bir öğrenme algoritması olan RankNet'i önermektedirler.

Cohen ve arkadaşları Cohen, W. W., Schapire, R. E. ve Singer, Y., Nesneleri sıralamayı öğrenme (Learning to Order Things ), Yapay Zekâ Araştırmaları Dergisi (Journal of Artificial Intelligence Research), Cilt 10, ss. 243–270, 1998., iyi bir sıralama uzmanları (ranking experts) birleşimi bulmak için Hedge algoritmasına dayalı çevrimiçi (online) bir öğrenme algoritması tanıtmışlardır. Ayrıca, bir tercih fonksiyonu ile en iyi uyumlu sıralamayı bulmanın NP-tam (NP-complete) olduğunu da göstermişlerdir.

Tsai ve arkadaşları Tsai, M.-F., Liu, T.-Y., Qin, T., Chen, H.-H. ve Ma, W.-Y., Frank: Sadakat kaybı ile bir sıralama yöntemi (Frank: A ranking method with fidelity loss ), 30. Uluslararası ACM SIGIR Konferansı Bildirileri, 2007., RankNet  üzerine daha ileri çalışmalar yapmış ve sıralama kaybını ölçmek için Fidelity adını verdikleri yeni bir kayıp fonksiyonu önermişlerdir. Fidelity kaybını verimli bir şekilde minimize etmek için FRank adlı bir öğrenme algoritması geliştirmişlerdir.

 Liste bazında yaklaşım 
Belge düzeyinde veya belge çifti düzeyinde tahmin yapan diğer iki yaklaşımdan farklı olarak, liste-tabanlı yaklaşım, bir belgenin gerçek sıralama listesi ile sıralama modelinin ürettiği sıralama listesi arasındaki farkı en aza indirmeye çalışır.

Bu yaklaşımın giriş uzayı, sorgu q'ya ait tüm belgeler koleksiyonundan oluşur. Çıkış uzayı ise, bir sorguya ait belgelerin sıralanmış listesini içerir. Varsayım (hipotez) uzayı, verilen belgelerin sıralama düzenini tahmin eden sıralama fonksiyonları kümesini kapsar. Kayıp (loss) fonksiyonu, hipotezin ürettiği sıralama listesi ile giriş uzayındaki gerçek sıralama listesi arasındaki farkı hesaplar.

 RankCosine 
Qin ve arkadaşları, kayıp fonksiyonu olarak kosinüs benzerliğini kullanan RankCosine Qin, T., Zhang, X.-D., Tsai, M.-F., Wang, D.-S., Liu, T.-Y. ve Li, H., Bilgi getirim için sorgu düzeyinde kayıp fonksiyonları (Query-level loss functions for information retrieval ), Information Processing & Management, Cilt 44, ss. 838–855, Mart 2008. adlı liste bazlı (list-wise) bir öğrenme-sıralama (LTR) algoritması önermiştir.

Bir sorgu q için n(q) adet belge (doküman) olduğunu varsayalım. Bu sorgu için gerçek sıralama listesi g(q) ile gösterilir ve bu, n(q) boyutlu bir vektördür. Belgeler 1’den n’e kadar sıralanmıştır ve sıralama listesindeki k'nci eleman, listedeki k'nci belgenin puanıdır.

Örneğin, elimizde A, B, C, D gibi bir belge koleksiyonu varsa, bu koleksiyonun bir sıralama listesi örneği 2, 3, 1 ve 4 şeklinde olabilir.

RankCosine algoritmasında (ve çoğu diğer liste bazlı algoritmada) puanların mutlak değeri önemli değildir; yalnızca puanlar arasındaki fark önemlidir, yani belgelerin doğrusal sıralaması esas alınır.

Bir sorgu q için öğrenme algoritmasının çıktısı H(q) olarak tanımlanır. Bu çıktı da g(q) ile aynı şekilde n(q) boyutlu bir vektördür. Ayrıca çıktı listesindeki k'nci eleman, algoritmanın k'nci belgeye verdiği puandır.

Bir sorgu q için sıralama kaybı (ranking loss) aşağıdaki gibi tanımlanır:

Burada ∥⋅∥ bir vektörün L-2 normunu ifade eder. Bu fonksiyonda kosinüs benzerliği (cosine similarity) kullanıldığı için, bu kayıp fonksiyonuna 'cosine loss' (kosinüs kaybı) adı verilir.

Bu ayarlamada öğrenmenin amacı, eğitim kümesi Q içindeki tüm sorgular üzerinde toplam kayıp fonksiyon değerini minimize etmektir:

Son sıralama fonksiyonu için toplamsal (additive) bir model kullanılır:

Burada αt birleştirme ağırlığı,  ise zayıf öğrenici (weak learner) olup, giriş olarak bir belgenin özellik vektörünün bulunduğu satırlardan oluşan bir matrisi alır ve her belgeye bir skor atayan bir çıktı vektörü üretir:

(Burada d, özellik vektörünün boyutunu belirtir.)

Son sıralama fonksiyonunun parametrelerini eğitmek için aşamalı (stage-wise) açgözlü (greedy) bir arama stratejisi kullanılır. Her adımda, kosinüs kaybı (cosine loss) en küçük olan yeni bir zayıf öğrenici seçilir.

Yeni zayıf öğrenici seçildiğinde, daha önce seçilmiş olanlarla birleştirilir.

Son sıralama fonksiyonunu şöyle tanımlarsak:

(burada , t adımında seçilen zayıf öğrenicidir),adım  t'deki kosinüs kaybı şu şekilde ifade edilir:

Kayıp fonksiyonunu 'ye göre türevleyip sıfıra eşitlediğimizde, 'nin optimal değeri şu şekilde elde edilir:

Burada  ve  şu şekilde tanımlanır:

Bu denklemleri kullanarak optimal  ağırlığını hesaplarız, her zayıf öğrenici adayı için kosinüs kaybını değerlendirir ve en küçük kayba sahip olanı k'ıncı zayıf öğrenici olarak seçeriz.

Sonuç olarak, bir zayıf öğreniciler koleksiyonu ve bunların birleşim katsayıları elde edilir ve bu birleşim, son sıralama fonksiyonunu oluşturur.

 ListNet ListNet Cao, Z., Qin, T., Liu, T.-Y., Tsai, M.-F. ve Li, H., Sıralamayı öğrenme: Çiftler arası yaklaşımdan liste-tabanlı yaklaşıma (Learning to rank: from pairwise approach to listwise approach ), 29. Uluslararası ACM SIGIR Bilgi Erişiminde Araştırma ve Geliştirme Konferansı Bildirileri, ss. 129–136, ACM, New York, NY, ABD, 2007., sıralama kaybını permütasyonlar üzerindeki olasılık dağılımına dayalı olarak hesaplayan bir başka LTR (Learning to Rank) algoritmasıdır. Permütasyonlar üzerindeki dağılım, olasılık teorisinde iyi bir şekilde incelenmiştir. Luce modeli ve Mallows modeli gibi ünlü dağılım modelleri bulunmaktadır. Sıralanmış bir listeyi belge listesinin bir permütasyonu olarak ele alabileceğimizden, bu modeller kolayca uygulanabilir. ListNet, Luce modelini LTR için uygular.

İlgililik puanları, h adlı puanlama fonksiyonu tarafından  şeklinde verilir; burada  olur. Luce modeli, belgelerin her bir olası permutasyonuna bir olasılık atar.

Burada 1(j), listedeki veya permütasyondaki j. sıraya yerleştirilen belgeyi gösterir.

φ bir dönüşüm fonksiyonudur.

Her bir öğe aşağıdaki örnekte gösterildiği gibi ifade edilir:

bu bir koşullu olasılığı temsil eder.

Şöyle varsayalım: elimizde bir sorgu q ile ilişkili üç belge var: X, Y ve Z.

Permütasyon olasılığı , aşağıdaki üç olasılığın çarpımı olarak ifade edilir:

 P1: X belgesinin en üst sıraya yerleşme olasılığıdır.
 P2: X seçildikten sonra Y'nin ikinci sırada yer alma koşullu olasılığıdır.
 P3: X ve Y seçildikten sonra Z'nin üçüncü sırada yer alma koşullu olasılığıdır.

Bu örnekte, P3 doğrudan 1'e eşittir.

Verilen bir sorgu q için, ListNet, fonksiyon f ile puanlar üzerinden sıralama olasılık dağılımını hesaplar. Ayrıca, doğru listeye dayalı başka bir sıralama olasılık dağılımı  tanımlar. Ardından, bu iki dağılım arasındaki K-L (Kullback-Leibler) diverjansını kullanır ve kayıp fonksiyonunu şu şekilde hesaplar:

Daha sonra, algoritma K-L diverjansı kaybını minimize etmek için gradyan inişi tabanlı bir sinir ağı kullanır.

 Diğer Liste Bazlı Algoritmalar LambdaRank Burges, C. J. C., Ragno, R. ve Le, Q. V., Kesintili maliyet fonksiyonlarıyla sıralamayı öğrenme (Learning to Rank with Nonsmooth Cost Functions ), ss. 193–200, MIT Press, 2006., basit ve esnek algoritmalar sınıfıdır ve dolaylı maliyet fonksiyonları kullanır. Burges ve arkadaşları , bilgi erişiminde kalite ölçütlerinin optimize edilmesinin zor olduğunu belirtmektedir çünkü bunlar, verilen bir sorgu için döndürülen belgelerin sıralanmış sırasına yalnızca model puanları üzerinden bağlıdır. Maliyetlerin model parametrelerine göre türevleri ya sıfırdır ya da tanımlanmamıştır. Bu nedenle, elde edilen dolaylı maliyet fonksiyonunun konveks olabilmesi için gerekli koşulları vermektedirler.

Taylor ve arkadaşları Taylor, M., Guiver, J., Robertson, S. ve Minka, T., SoftRank: Kesintili sıralama metriklerini optimize etme (SoftRank: optimizing nonsmooth rank metrics ), Web Arama ve Web Veri Madenciliği Uluslararası Konferansı Bildirileri, WSDM 08, ss. 77–86, 2008., belgelerin sıralama dağılımlarından türetilen yeni bir eğitim hedefleri ailesi sunmaktadırlar. Bu yaklaşıma SoftRank adını vermektedirler. Çoğu bilgi erişimi uygulaması, yalnızca belgelerin sıralarına bağlı olan değerlendirme metriklerini kullanır. Ancak, çoğu sıralama fonksiyonu, sıralama üretmek için sıralanan belge puanlarını üretir. Bu nedenle bilgi erişimi metrikleri, sıralama nedeniyle puanlar açısından pürüzsüz değildir. Ayrıca, Normalized Discounted Cumulative Gain (NDCG) üzerine bir yaklaşık çözüm sunmuş ve SoftNDCG'yi önermişlerdir.

Yue ve arkadaşları Yue, Y., Finley, T., Radlinski, F. ve Joachims, T., Ortalama doğruluğu optimize etmek için bir destek vektör yöntemi (A support vector method for optimizing average precision ), 30. Uluslararası ACM SIGIR Bilgi Erişiminde Araştırma ve Geliştirme Konferansı Bildirileri, SIGIR 07, ss. 271–278, 2007., birkaç öğrenme tekniğinin doğrudan mean average precision (MAP) için optimize edilerek geliştirilmiş olduğunu ve mevcut yöntemlerin küresel optimal çözümü bulamadığını belirtmektedirler. Küresel bir optimal çözümü verimli bir şekilde bulan genel bir SVM öğrenme algoritması sunmuşlardır ve bu algoritma, MAP'in doğrudan bir gevşetilmesine yönelik bir çözüm sunmaktadır.

 Tarihçe 
Norbert Fuhr, 1992 yılında MLR'nin genel fikrini tanıtarak bilgi getiriminde öğrenme yaklaşımlarını parametre tahmini bir genellemesi olarak açıklamıştır; bu yaklaşımdan belirli bir varyant (polinom regresyonu kullanarak) üç yıl önce kendisi tarafından yayımlanmıştır. Bill Cooper, aynı amaçla 1992'de lojistik regresyonu önermiş Cooper, W. S., Gey, F. C. ve Dabney, D. P. (1992), Aşamalı lojistik regresyona dayalı olasılıksal getirim (Probabilistic retrieval based on staged logistic regression), 15. Uluslararası ACM SIGIR Bilgi Erişiminde Araştırma ve Geliştirme Konferansı Bildirileri - SIGIR '92, ss. 198–210, doi:10.1145/133160.133199 , ISBN , S2CID 125993 . ve bunu Berkeley araştırma grubu ile TREC için başarılı bir sıralama fonksiyonu eğitmek amacıyla kullanmıştır. Manning ve ark.Manning, C., Raghavan, P. ve Schütze, H. (2008), Bilgi getirimine giriş (Introduction to Information Retrieval), Cambridge University Press. Bölümler 7.4 (2009-07-21 tarihinde Wayback Machine tarafından arşivlenmiş) ve 15.5 (2010-05-09 tarihinde Wayback Machine tarafından arşivlenmiş)., bu erken çalışmaların, sınırlı eğitim verisi ve zayıf makine öğrenme teknikleri nedeniyle o dönemde sınırlı sonuçlar elde ettiğini belirtmişlerdir.

2000'lerin ortalarından itibaren NeurIPS, SIGIR ve ICML gibi çeşitli konferanslarda sıralama öğrenme (learning-to-rank) problemi üzerine atölye çalışmaları düzenlenmiştir.

 Arama motorları tarafından pratik kullanım 
Ticari web arama motorları, 2000'lerin başından itibaren makine öğrenimi tabanlı sıralama sistemlerini kullanmaya başlamıştır. Bunlardan ilki, AltaVista'dır (sonrasında teknolojisi Overture tarafından satın alınmış ve ardından Yahoo'ya geçmiştir), bu arama motoru Nisan 2003'te gradyan artırma (gradient boosting) ile eğitilmiş bir sıralama fonksiyonu başlatmıştır.Pedersen, J. O., MLR Hikayesi (The MLR Story), 2011, Wayback Machine tarafından 13 Temmuz 2011'de arşivlenmiştir.

Bing'in arama motorunun, 2005'te Microsoft Research'te icat edilen RankNet algoritması ile çalıştığı söylenmektedir.Bing Search Blog: Kullanıcı İhtiyaçları, Özellikler ve Bing'in Arkasındaki Bilim (Bing Search Blog: User Needs, Features and the Science behind Bing), 2009, 25 Kasım 2009'da orijinalinden arşivlenmiştir. Erişim: 19 Kasım 2009.

Kasım 2009'da, Rusya'nın arama motoru Yandex, kendi yeni özel MatrixNet algoritmasını kullanmaya başladıktan sonra arama kalitesini önemli ölçüde artırdığını duyurmuştur. Bu algoritma, gradyan artırma yönteminin bir varyantıdır ve unutkan (oblivious) karar ağaçlarını kullanmaktadır. Son zamanlarda, Yandex kendi arama motorunun üretim verilerine dayanan makine öğrenimi tabanlı bir sıralama yarışması olan "Internet Mathematics 2009"u düzenlemiştir.Yandex'in İnternet Matematiği 2009 Yarışması Sayfası (Yandex's Internet Mathematics 2009 competition page), 17 Mart 2015'te orijinalinden arşivlenmiştir. Erişim: 11 Kasım 2009. Yahoo da 2010 yılında benzer bir yarışma düzenlemiştir.Yahoo Sıralama Öğrenme Yarışması (Yahoo Learning to Rank Challenge), 1 Mart 2010'da orijinalinden arşivlenmiştir. Erişim: 26 Şubat 2010.

2008 yılı itibarıyla, Google'dan Peter Norvig, arama motorlarının yalnızca makine öğrenimi tabanlı sıralama kullandığını reddetmiştir. (2008-05-24), Makine Öğrenmesi Modelleri Felaket Hatalarına Eğilimli midir? (Are Machine-Learned Models Prone to Catastrophic Errors?), 1 Temmuz 2012'de orijinalinden arşivlenmiştir. Erişim: 11 Kasım 2009. Cuil'in CEO'su Tom Costello, ellerinde yapılmış modellerin, tıklama oranı (click-through rate) veya açılış sayfasında geçirilen süre gibi ölçütlerle ölçüldüğünde makine öğrenimi tabanlı modelleri geride bırakabileceğini öne sürmüştür. Bunun nedeni, makine öğrenimi tabanlı modellerin "insanların beğendiklerini söylediklerini, gerçek beğenilerini değil, öğrenmesidir."Costello, T. (2009-06-26), Cuil Blog: Peki, Bing nasıl gidiyor? (Cuil Blog: So how is Bing doing?), 27 Haziran 2009'da orijinalinden arşivlenmiştir.

Ocak 2017'de bu teknoloji, açık kaynak arama motoru Apache Solr'a dahil edilmiştir.Bloomberg'in Apache Solr'a Sıralama Öğrenme Entegrasyonu (How Bloomberg Integrated Learning-to-Rank into Apache Solr), Tech at Bloomberg, 23 Ocak 2017, 1 Mart 2017'de orijinalinden arşivlenmiştir. Erişim: 28 Şubat 2017. Ayrıca açık kaynaklı OpenSearch ve Elasticsearch'te de mevcuttur.Amazon OpenSearch Hizmeti için Sıralama Öğrenme (Learning to Rank for Amazon OpenSearch Service), Amazon OpenSearch Service, docs.aws.amazon.com. Erişim: 22 Eylül 2023.Elasticsearch Sıralama Öğrenme: Dokümantasyon (Elasticsearch Learning to Rank: the documentation — Elasticsearch Learning to Rank documentation ), elasticsearch-learning-to-rank.readthedocs.io. Erişim: 22 Eylül 2023. Bu uygulamalar, sıralama öğrenmenin kurumsal arama için yaygın olarak erişilebilir olmasını sağlamaktadır.

 Güvenlik Açıkları Benzer şekilde, bilgisayarla görme alanındaki tanıma uygulamalarına benzer olarak, son zamanlarda geliştirilen sinir ağı tabanlı sıralama algoritmalarının, hem adaylar hem de sorgular üzerinde gizli düşman saldırılarına karşı duyarlı olduğu bulunmuştur. Küçük, insanlar tarafından fark edilemeyen bozulmalarla sıralama sırası keyfi bir şekilde değiştirilebilir. Ayrıca, modelden bağımsız ve aktarılabilir düşman örneklerinin mümkün olduğu keşfedilmiştir; bu da derin sıralama sistemlerine, alt yapılarının uygulanmalarına erişim gerektirmeden kara kutu düşman saldırılarının yapılmasını sağlar.

Buna karşılık, bu tür sıralama sistemlerinin dayanıklılığı, Madry savunması''' gibi düşman savunmalarıyla geliştirilebilir.

 Kaynakça