Anche sotto gli Svevi ebbe importanza tant'è che sia Federico II che Manfredi la tennero come castello personale e vi risiedettero per mesi. Pare che prima della fatale Battaglia di Benevento Manfredi abbia organizzato il proprio esercito proprio a Montefusco.