Etter sin fars død forsøkte Manfred å samle Sicilia mot pave Innocens IVs undergravende virksomhet frem til halvbroren Konrad kom sørover i 1252. Dessverre var Konrad mistenksom mot Manfred og misunte ham hans innflytelse i Italia. Da Conrad døde av malaria i 1254, gikk Manfred inn som formynder og verge for brorens to år gamle sønn, Conradin («vesle-Conrad» (1252-68), greve av Schwaben og konge av Jerusalem). Pave Innocens ble så opprørt over dette at han gikk til det skritt å lyse Manfred i bann for å få kontroll over tronarvingen. Manfreds far Fredrik II hadde opplevd å bli bannlyst etter at han allerede var blitt bannlyst, og det samme kom Manfred til å oppleve. Like fullt forhandlet Manfred med Innocens og overlot ham til og med Apulia i september 1254, men dette så han lite igjen for.