Benedicto lo declara antipapa y tras recuperar, el 10 de marzo de 1045, el trono papal, con la ayuda de sus familiares los condes de Túsculo, depone a Silvestre III quien se refugió en su diócesis de Sabina donde continuó ejerciendo como obispo hasta que en un concilio celebrado en Sutri el 20 de diciembre de 1046, al que asistió el emperador alemán Enrique III, se le privó de su dignidad y se le recluyó en un monasterio.