Papa Alessandro IV, scontento dai fallimentari tentativi di conversione degli infedeli portati avanti dai frati mendicanti inviati a Lūǧārah, mirando anche a conquiste sul Regno Svevo, nel 1255 emise la bolla "Pia Matris" contro Manfredi e i Musulmani di Lucera, inneggiando ad una crociata contro di essi. Una volta assicuratasi la fedeltà della colonia saracena, Manfredi, chiamato anche "Sultano di Lucera" (1258-1266), poté arruolare un ingente esercito e muovere guerra all'esercito pontificio, che sconfisse presso Foggia. I saraceni di Lucera combatterono al fianco di Manfredi fino alla Battaglia di Benevento del 1266, che segnò la morte del sovrano svevo e l'entrata in scena degli Angiò. Prima della battaglia, Manfredi lasciò sua moglie Elena Ducas e i suoi figli all'interno del "palatium". Quando questi vennero a sapere della disfatta sveva, scapparono verso Trani ma furono catturati e imprigionati.