Han ble kortvarig jagd ut av Roma i 1036, men kom tilbake med hjelp av Konrad II av det tysk-romerske rike. I september 1044 tvang opposisjonen i Roma ham igjen ut av byen og de valgte Giovanni dei Crescenzi, biskop av Sabina, som pave Sylvester III. Benedikt IX og hans soldater kom tilbake i april 1045 og forviste den nye paven. Den bortjagde Sylvester III fortsatte uansett i alle år å hevde sitt krav til pavestolen.