Karel kwam op 23 mei 1265 aan in Rome en werd aldaar uitgeroepen tot koning van Sicilië. Op 6 januari werd hij vervolgens gekroond. Ondertussen was zijn leger door de Alpen getrokken om slag te leveren met de nog heersende koning Manfred van Sicilië. Dit leidde tot de Slag bij Benevento waar het leger van Manfred werd verslagen en hijzelf ook sneuvelde. Hierop verdween al snel de weerstand tegen zijn koningschap in zijn nieuwe koninkrijk. Hij sloot Manfreds drie zonen, van 9 (Frederik), 7 (Enzio) en 4 jaar (Hendrik), op in Castel del Monte en hield hen daar twaalfduizend dagen (van 1268 tot 1299) gevangen, 'als beesten geketend aan de muren', gecastreerd, hun ogen uitgebrand.