Gervasio continuò la sua collaborazione con gli Hohenstaufen anche dopo la morte di Federico II, divenendo (insieme a Goffredo da Cosenza), segretario di Manfredi: nel 1255 dovette subire il bando da parte di papa Alessandro IV per aver appoggiato la dinastia sveva invisa alla Chiesa. Dopo la sconfitta di Manfredi a Benevento, Carlo I d'Angiò, nuovo re di Sicilia, lo accusò di tradimento, lo condannò a morte e gli confiscò i beni, con atto emanato a Trani il 16 novembre 1268.