Manfred ble så bannlyst av en tredje pave, Urban IV, som anså pave Alexander IVs avtale med England som utgått, og i stedet tilbød den sicilianske tronen til Karl av Anjou. Karl seilte til Roma i mai 1265. Mens pavens tropper okkuperte traktene rundt Napoli, søkte Manfred støtte fra de lojale araberne i området, og i desember 1254 slo de pavens hær ved Foggia. Manfred maktet også å sende militærhjelp til noen av ghibellinerens byer i Toscana. Da Innocens døde, lyste også hans etterfølger Alexander IV Manfred i bann, uten at dette fikk noen innvirkning på hans militære innsats mot paveveldet som fikk en skikkelig smekk i 1257, etter en rekke nederlag i små slag rundt omkring.