Korstoget herjet Palma i 1115 og avsluttet øyenes tid som en stor sjømakt, men deretter trakk angriperne seg tilbake. Innenfor et år ble de utsatte øyene erobret av de muslimske almoravidene som hadde en aggressiv, militant tilnærming til religion som speilet korsfarerne. De fikk undertrykt de relativt tolerante miljøet under Cordoba. Almoravidene ble erobret og avsatt i Nord-Afrika og i Spania av det rivaliserende almohadene i 1147. Muhammad ibn Ganiya, en fordringshaver fra almoravidene, flyktet til Palma og etablerte sin hovedstad her. Hans dynasti, Banu Ghaniya, søkte etter allierte i deres forsøk på å gjenvinne deres kongedømme, noe som førte dem til Genova og Pisa. I 1184 ble en militær ekspedisjon sendt for å gjenerobre Ifriqiya (kystområdene av dagens Tunis, østlige Algerie og vestlige Libya), men det endte i nederlag. I frykt for represalier gjorde innbyggerne på Balearene opprør mot almoravidene, og aksepterte amohadenes overherredømme i 1187.