Çoklu örnekle öğrenme

Makine öğreniminde, çoklu örnek öğrenme (ÇÖÖ) bir tür denetimli öğrenmedir. Öğrenci, bireysel olarak etiketlenmiş bir dizi örnek almak yerine, her biri birçok örnek içeren bir dizi etiketli paket alır.

Basit çoklu örnekli ikili sınıflandırma durumunda, bir torba, içindeki tüm örnekler negatifse negatif olarak etiketlenebilir. Öte yandan, içinde pozitif olan en az bir örnek varsa, bir torba pozitif olarak etiketlenir. Öğrenci, etiketli çantalardan oluşan bir koleksiyondan, (i) tek tek örnekleri doğru şekilde etiketleyecek bir kavram oluşturmaya çalışır veya (ii) kavramı harekete geçirmeden çantaların nasıl etiketleneceğini öğrenir.

ÇÖÖ için basit bir örnek verelim. Birkaç kişi hayal edin ve her birinin birkaç anahtar içeren bir anahtar zinciri var. Bu insanlardan bazıları belirli bir odaya girebilir, bazıları giremez. Daha sonra görev, belirli bir anahtarın veya belirli bir anahtarlığın sizi o odaya sokup sokamayacağını tahmin etmektir. Bu sorunu çözmek için, tüm "pozitif" anahtar zincirleri için ortak olan tam anahtarı bulmamız gerekir. Bu anahtarı doğru bir şekilde tanımlayabilirsek, bir anahtar zincirinin tamamını da doğru bir şekilde sınıflandırabiliriz - gerekli anahtarı içeriyorsa pozitif, yoksa negatiftir.

Öğrenim verilerinin türüne ve çeşitliliğine bağlı olarak, makine öğrenimi kabaca üç çerçeveye ayrılabilir: denetimli öğrenme, denetimsiz öğrenme ve pekiştirmeli öğrenmedir. Çoklu örnek öğrenme (ÇÖÖ), her öğrenim örneğinin ayrı veya gerçek değerli bir etikete sahip olduğu denetimli öğrenme çerçevesine girer. ÇÖÖ, eğitim setlerindeki eksik etiket bilgileriyle ilgili problemlerle ilgilenir. Daha kesin olarak, çoklu örnek öğrenmede eğitim seti, her biri etiketlenmemiş örneklerden oluşan etiketli "Paketten" oluşur. Bir torba, içindeki en az bir örnek pozitifse pozitif olarak etiketlenir ve içindeki tüm örnekler negatifse negatif olarak etiketlenir. ÇÖÖ'in amacı yeni, görünmeyen çantaların etiketlerini tahmin etmektir.

Keeler ve diğer araştırmacılar, 1990'ların başındaki çalışmalarında ÇÖÖ alanını keşfeden ilk kişilerdi. Fiili çoklu örnek öğrenme terimi, 1990'ların ortasında Dietterich ve diğerleri tarafından tanıtıldı. ilaç aktivitesi tahmini problemini araştırırken kullanılmıştır. Bilinen moleküllerin bir koleksiyonunu analiz ederek, yeni molekülün bir ilaç üretmeye uygun olup olmadığını tahmin edebilecek bir öğrenme sistemi yaratmaya çalışılmıştır. Moleküllerin birçok alternatif düşük enerji durumu olabilir, ancak bunlardan yalnızca biri veya bazıları bir ilaç yapmaya yetkilidir. Sorun, bilim adamlarının yalnızca molekülün nitelikli olup olmadığını belirleyebildikleri için ortaya çıktı, ancak bunun düşük enerjili şekillerinin hangisinin sorumlu olduğunu tam olarak söyleyemediler.

Dietterich ve ark.nın çoklu örnek öğrenme problemine çözüm. önerilen eksen paralel dikdörtgen (YYO) algoritmasıdır. Özelliklerin birleşimiyle oluşturulmuş uygun eksenli paralel dikdörtgenleri aramaya çalışır. Algoritmayı, ilaç aktivitesi tahminine ilişkin somut bir test verisi olan ve çoklu örnekli öğrenmede en yaygın olarak kullanılan karşılaştırma ölçütü olan Musk veri kümesi üzerinde test ettiler. Yıllık yüzde oranı algoritması en iyi sonucu elde etti, ancak YYO, Musk verileri düşünülerek tasarlanmıştır.

Çok örnekli öğrenme 1998'de Maron ve Ratan, makine görüşünde sahne sınıflandırmasına çoklu örnek öğrenmenin başka bir uygulamasını buldular ve Diverse Density çerçevesini tasarladılar. Bir görüntü verildiğinde, bir örnek, bir veya daha fazla sabit boyutlu alt görüntü olarak alınır ve örneklerin çantası, görüntünün tamamı olarak alınır. Bir görüntü, hedef sahneyi (örneğin bir yangın musluğu) içeriyorsa pozitif, aksi takdirde negatif olarak etiketlenir. Hedef sahneyi karakterize eden alt görüntülerin özelliklerini öğrenmek için çoklu örnek öğrenme kullanılabilir. Bundan sonra, bu çerçeveler, görüntü kavramı öğrenme ve metin kategorizasyonundan borsa tahminine kadar geniş bir uygulama yelpazesi için kullanılmıştır.

Örneğin görüntü sınıflandırmasını ele alalım Amores (2013) Bir görüntü verildiğinde, görsel içeriğine göre hedef sınıfını bilmek istiyoruz. Örneğin, hedef sınıf, görüntünün hem "sınıf" hem de "masa" içerdiği "okul" olabilir. ÇÖÖ terimleriyle, görüntü bir paket , burada her biri , görüntüdeki karşılık gelen i-inci bölgesinden çıkarılan özellik vektörüdür (örnek olarak adlandırılır) ve , görüntü. içinde, hem "sınıf" bölgesi örnekleri hem de "masa" bölgesi örnekleri içeriyorsa pozitif ("okul") olarak etiketlenir.

Çoklu Örnek Öğrenme için iki ana algoritma çeşidi vardır: örnek tabanlı ve meta veri tabanlı veya gömme tabanlı algoritmalardır. "Örneğe dayalı" terimi, algoritmanın bir MI varsayımına dayalı olarak bir dizi temsili örneği bulmaya çalıştığını ve bu temsilcilerden gelecek çantaları sınıflandırdığını belirtir. Buna karşılık, meta veriye dayalı algoritmalar, örnekler ve çanta etiketleri arasındaki ilişki hakkında hiçbir varsayımda bulunmazlar ve bunun yerine kavramı öğrenmek için çantalar hakkında örnekten bağımsız bilgileri (veya meta verileri) çıkarmaya çalışmışlardır. Modern ÇÖÖ algoritmalarından bazılarının araştırması için . Foulds ve Frank.

İlk önerilen ÇÖ algoritmaları, Dietterich ve arkadaşları tarafından geliştirilen bir dizi "yinelemeli ayrımcılık" algoritması ve Maron ve Lozano-Pérez tarafından geliştirilen Diverse Density idi. Bu algoritmaların her ikisi de standart varsayım altında işlemektedir.

Genel olarak, tüm yinelemeli ayrımcılık algoritmaları iki aşamadan oluşur. İlk aşama, her pozitif torbadan en az bir örnek içeren ve herhangi bir negatif paketten hiç örnek içermeyen bir paralel eksenli dikdörtgen (PED) geliştirmektir. Bu yinelemeli olarak yapılır: Pozitif bir paketin elemanı olacak şekilde rastgele bir örneğinden başlayarak, PED herhangi bir örneği kapsayan en küçük PED'ye genişletilir yeni bir pozitif paket oluşmuştur.

Şimdiye kadar bu makale, yalnızca ikili sınıflandırıcılar bağlamında çoklu örnek öğrenmeyi ele aldı. Ancak, tek eşgörünümlü ikili sınıflandırıcıların genellemeleri, çok-eşgörünümlü duruma taşınabilir.

Bu tür bir genelleme, her bir torbanın artık etiket alanının herhangi bir alt kümesiyle ilişkilendirilebildiği çoklu örnek çoklu etiket problemidir (MIML). Resmi olarak, etiketlerin uzayıysa, bir MIML kavramı bir harita . Zhou ve Zhang (2006) , MIML problemine çoklu-örnekli veya çoklu-konseptli bir probleme indirgeme yoluyla bir çözüm önermektedir.

Bir başka bariz genelleme, çoklu-örnek regresyonudur. Burada, her torba standart regresyonda olduğu gibi tek bir gerçek sayı ile ilişkilendirilir. Standart varsayıma çok benzer şekilde, MI regresyonu, her torbada, torbanın etiketini (gürültüye kadar) belirleyen "birincil eşgörünüm" olarak adlandırılan bir örnek olduğunu varsayar. MI regresyonunun ideal amacı, her bir çantadaki ana örneklerin kare kaybını en aza indiren bir hiper düzlem bulmaktır, ancak asıl örnekler gizlidir. Aslında, Ray ve Page (2001) , torba başına üçten az örnek varsa, her bir torbadan bir örneğe uyan en iyi uyan hiper düzlemi bulmanın zor olduğunu göstermekte ve bunun yerine yaklaşıklık için bir algoritma geliştirmektedir. MI sınıflandırması için geliştirilen algoritmaların çoğu, MI regresyon problemine de iyi yaklaşımlar sağlayabilir.