Multimediedata mangler ofte assosiert tekst. Dette gjør gjennfinningen av denne typen ressurser vanskelig. Søker man på metadata, eller kjører analyse av ressursene, så vil dette kunne brukes til søk. Derimot er det sjelden denne data som er interessant for en søker, da fargebalanse og kontrast sjelden sier noe om bildet er av en blomst eller en bil. I disse kontekstene er man start sett avhengig av annotasjon av dokumentet og av å assosiere en fritekst som omhandler ressursen med ressursen. Har man disse dataene vil man kunne bruke metoder fra de klassiske modellene for å gjennfinne ønskede dokumenter.