Federico II, uomo straordinariamente colto ed energico, ebbe il merito di diffondere arte e cultura, fondando anche la Scuola siciliana. Nel 1250, anno della sua morte, soggiornò nel castello della vicina Bisaccia, dove soleva recarsi per le sue battute di caccia al falcone sul monte Formicoso, al confine con Guardia, da lui ribattezzato Montesano. Il suo successore fu il figlio Manfredi, che divenne Principe di Taranto e luogotenente del regno di Sicilia, finché non fosse giunto l'erede legittimo, il fratellastro di Manfredi, Corrado IV, che in quel momento era impegnato in Germania. Ereditò una situazione difficile: il Papato continuava a non vedere di buon occhio l'insediamento della casa imperiale di Svevia nel regno di Sicilia, e occupò il regno con un esercito, considerando quel territorio come proprio vassallo. Manfredi, non ritenendosi sicuro di fronte al papa, fuggì in Puglia, a Lucera, ove si trovava la truppa della colonia saracena ivi stanziata da Federico II. Una volta assicuratasi la loro fedeltà, poté arruolare un ingente esercito e muovere guerra all'esercito pontificio, che sconfisse presso Foggia. Il 30 ottobre 1254 combatté, con l'appoggio di migliaia di arcieri saraceni, nella Battaglia di Guardia Lombardi, appartenente alla Contea di Andria, fino ad allora di proprietà del marchese Bertoldo di Hohenburg.. Nel 1263 il papa riuscì a convincere Carlo I d'Angiò, fratello del Re Luigi IX di Francia e "senza terra" a prendere Sicilia e Piemonte. Cominciò così il declino degli Svevi, che giunse a compimento il 26 febbraio 1266 nella decisiva Battaglia di Benevento, in cui Manfredi trovò la morte.