Multimedya bilgi alma

**Multimedya bilgi alma** (**MMIR** veya **MIR ),** multimedya veri kaynaklarından anlamsal bilgi çıkarmayı amaçlayan bir  araştırma disiplinidir. ,  ve video gibi doğrudan algılanabilir medya, metin, anlamsal açıklamalar, &nbsp; gibi dolaylı olarak algılanabilir kaynaklar ve biyolojik bilgi, hisse senedi fiyatları vb. gibi algılanamayan kaynakları içerir. MMIR metodolojisi üç grupta düzenlenebilir:

# Medya içeriğinin özetlenmesine yönelik yöntemler ( ). Özellik çıkarma işleminin sonucu bir açıklamadır.
# Medya açıklamalarının filtrelenmesine yönelik yöntemler (örneğin,  ortadan kaldırılması )
# Medya tanımlarının  ayrılmasına yönelik yöntemler .

## Özellik çıkarma yöntemleri
Özellik çıkarma, multimedya nesnelerinin büyük boyutları ve bunların yedekliliği ve muhtemelen gürültülü olmasıyla motive edilir. &nbsp;Genel olarak, özellik çıkarma ile iki olası hedefe ulaşılabilir:

* Medya içeriğinin özetlenmesi. Özetleme yöntemleri ses alanında, örneğin, , Sıfır Geçiş Oranı, Kısa Süreli Enerji'yi içerir. Görsel alanda, MPEG-7 Ölçeklenebilir Renk Tanımlayıcısı gibi renk histogramları &nbsp;özetleme için kullanılabilir.
* Desenlerin  ve/veya  ile tespiti . Desenler, medya boyutları (zaman, mekan, vb.) üzerinden parçaları karşılaştırarak veya medya parçalarını şablonlarla (örneğin yüz şablonları, ifadeler) karşılaştırarak tespit edilebilen tekrarlayan medya parçalarıdır. Tipik yöntemler arasında ses/biyo-sinyal alanında Doğrusal Tahminli Kodlama, &nbsp;görsel alanda doku tanımı ve metin bilgisi almada n-gramlar bulunur.

## Birleştirme ve filtreleme yöntemleri
Multimedya Bilgi Alma, medya içeriğinin anlaşılması için birden fazla kanalın kullanıldığı anlamına gelir. &nbsp;Bu kanalların her biri medyaya özgü özellik dönüşümleriyle tanımlanır. Ortaya çıkan açıklamalar medya nesnesi başına bir açıklamaya birleştirilmelidir. Açıklamalar sabit boyuttaysa birleştirme basit birleştirmeyle gerçekleştirilebilir. Değişken boyutlu açıklamalar (hareket açıklamasında sıklıkla meydana geldikleri gibi) önce sabit bir uzunluğa normalleştirilmelidir.

Açıklama filtrelemesi için sıklıkla kullanılan yöntemler arasında faktör analizi (örneğin PCA ile), tekil değer ayrıştırma (örneğin metin alma işleminde gizli anlamsal dizinleme olarak) ve istatistiksel anların çıkarılması ve test edilmesi yer alır.  gibi gelişmiş kavramlar açıklamaların birleştirilmesi için kullanılır.

## Kategorizasyon yöntemleri
Genel olarak, makine öğreniminin tüm biçimleri multimedya açıklamalarının kategorilendirilmesi için kullanılabilir ancak bazı yöntemler bir alanda diğerine göre daha sık kullanılır. Örneğin,  konuşma tanımada son teknoloji iken,  - anlamsal olarak ilgili bir yöntem - gen dizisi hizalamasında son teknolojidir. Uygulanabilir sınıflandırıcıların listesi şunları içerir:

* Metrik yaklaşımlar (Kümeleme analizi, vektör uzay modeli,  mesafeleri, dinamik hizalama)
* En Yakın Komşu yöntemleri (, K-ortalamalar,  )
* Risk Minimizasyonu (Destek vektör regresyonu, ,  )
* Yoğunluk Tabanlı Yöntemler (Bayes ağları, Markov süreçleri, karışım modelleri)
* Sinir Ağları (Perceptron, ilişkisel bellekler, dikenli ağlar)
* Sezgisel Yöntemler (, rastgele ormanlar, vb.)

Belirli bir problem için en iyi sınıflandırıcı seçimi (tanımlamalar ve sınıf etiketleri içeren test kümesi, sözde temel gerçek) otomatik olarak, örneğin Weka Veri Madencisini kullanarak gerçekleştirilebilir .

Multimedya Bilgi Alma Modelleri Konuşulan Dil Ses Alma Konuşulan Dil Ses Alma konuşulan sözcükleri içeren ses içeriğine odaklanır. Konuşulan içeriğin Otomatik Konuşma Tanıma (ASR) kullanılarak metne aktarılmasını ve metin tabanlı arama için aktarımların indekslenmesini içerir.

Temel Özellikler: Teknikler: Transkript ve metin dizini için ASR. Sorgu Türleri: Metin tabanlı sorgular. Uygulamalar: Podcast transkriptlerini arama. Müşteri hizmetleri çağrı kayıtlarını analiz etme. Toplantı kayıtlarında belirli ifadeleri bulma. Zorluklar: ASR'deki hatalar alma doğruluğunu azaltabilir. Çok dillilik ve aksan değişkenliği sağlam sistemler gerektirir. Konuşma Dışı Ses Alma Konuşma Dışı Ses Alma, müzik, ortam sesleri veya ses efektleri gibi konuşulan sözcükler olmadan ses içeriğini işler. Bu model, ilgili sesi tanımlamak için perde, ritim ve tını gibi ses özelliklerini çıkarmaya dayanır.

Temel Özellikler: Teknikler: Akustik özellik çıkarma (örneğin, spektrogramlar, MFCC'ler). Sorgu Türleri: Ses örnekleri veya metinsel açıklamalar. Uygulamalar: Müzik öneri sistemleri. Çevresel ses algılama (örneğin, silah sesleri, hayvan sesleri). Medya üretiminde ses efekti alma. Zorluklar: Kullanıcı sorguları ile düşük seviyeli ses özellikleri arasındaki anlamsal boşluğu kapatmada zorluk. Büyük veri kümelerinin etkili bir şekilde indekslenmesi. Grafik Alma Grafik Alma, düğümlerden (varlıklar) ve kenarlardan (ilişkiler) oluşan grafikler olarak temsil edilen bilgileri alır. Sosyal ağlarda, bilgi grafiklerinde ve biyoenformatikte yaygın olarak kullanılır.

Temel Özellikler: Teknikler: Grafik eşleştirme, bitişiklik listesi/matris depolama ve grafik veritabanları (örneğin, Neo4j). Sorgu Türleri: Alt grafikler, desenler veya metinsel sorgular. Uygulamalar: Sosyal ağ analizi. Bilgi grafiklerini arama. Moleküler yapı alma. Zorluklar: Hesaplama açısından yoğun alt grafik eşleştirme. Büyük, karmaşık grafikler için ölçeklenebilirlik. Görüntü Alma Görüntü Alma, metinsel açıklamalar veya görsel örnekler gibi kullanıcı girdisine dayalı görüntüleri alır. Arama için hem düşük seviyeli özelliklerden hem de anlamsal analizden yararlanır.

Temel Özellikler: Teknikler: İçerik Tabanlı Görüntü Alma (CBIR), görsel özellik çıkarma, anlamsal analiz. Sorgu Türleri: Metin, çizimler veya örnek resimler. Uygulamalar: Stok resim araması. E-ticaret ürün eşleştirme. Tıbbi görüntüleme analizi. Zorluklar: Kullanıcı sorguları ile görüntü içeriği arasındaki anlamsal boşluğu kapatma. Büyük ölçekli görüntü veri kümelerinin etkili bir şekilde indekslenmesi. Video Alma Video Alma, kullanıcı sorgularına dayalı olarak belirli video içeriğini bulma sürecidir. Videoların hem görsel hem de zamansal özelliklerini analiz etmeyi içerir.

Temel Özellikler: Teknikler: Anahtar kare çıkarma, hareket deseni analizi, zamansal dizinleme. Sorgu Türleri: Metinsel açıklamalar, örnek klipler veya zamansal sorgular. Uygulamalar: Akış hizmeti önerileri. Gözetim görüntüleri analizi. Spor analitiği. Zorluklar: Büyük dosya boyutlarındaki video içeriklerini yönetme. Zamansal dizilerin ve çok modlu özelliklerin etkili analizi. Alma Modellerinin Karşılaştırılması Model Veri Türü Sorgu Türleri Uygulamalar Konuşulan Dil Ses Konuşma kayıtları Metin sorguları Podcast'ler, toplantı kayıtları, çağrı merkezleri Konuşma Dışı Ses Müzik, ses efektleri Ses örnekleri veya metin Müzik uygulamaları, çevresel sesler Grafik Alma Grafik yapıları Alt grafikler, desenler Bilgi grafikleri, biyoenformatik Görüntü Alma Görüntüler Metin, çizimler veya görüntüler E-ticaret, tıbbi görüntüleme Video Alma Videolar (görsel + zamansal) Metin, klipler veya zaman sorguları Gözetim, spor analizi Sonuç Multimedya Bilgi Alma, geniş multimedya veri depolarını düzenlemede ve bunlara erişmede önemli bir rol oynar. Çeşitli geri alma modelleri, kullanıcıların karmaşık multimedya veri kümeleriyle etkili bir şekilde etkileşime girebilmesini ve bunlardan içgörüler çıkarabilmesini sağlar. Yapay zeka ve makine öğrenimindeki gelecekteki gelişmelerin MIR sistemlerinin doğruluğunu ve ölçeklenebilirliğini iyileştirmesi bekleniyor.

## İlgili alanlar
MMIR, bilgi alma alanlarında kullanılan yöntemlere genel bir bakış sağlar.&nbsp;Bir alanın yöntemleri diğer medya türlerinde uyarlanır ve kullanılır. Sınıflandırma gerçekleştirilmeden önce multimedya içeriği birleştirilir. Bu nedenle, MMIR yöntemleri genellikle şu gibi diğer alanlardan yeniden kullanılır:

* 
* 
* 
* 
* 
* 
* Konuşma tanıma
* 
* 
* Metin bilgisi alma
* 
* 

Uluslararası Multimedya Bilgi Alma Dergisi &nbsp;, MMIR'nin bu alanlardan bağımsız bir araştırma disiplini olarak gelişimini belgelemektedir. Bu araştırma disiplini hakkında eksiksiz bir genel bakış için ayrıca *Multimedya Bilgi Alma El Kitabı'na* *bakın.*

## Kaynakça