Rudolf av Rheinfelden, som var hertug av Schwaben og dobbel svoger til keiseren, utnyttet Henriks svake stilling og startet et saksisk opprør mot keiseren. I forståelse med paven erklærte han seg som saksisk, bayersk og karintisk prins. Til tross for dette klarte Henrik å bedre sin posisjon. Da Rudolf i 1077 ble kronet til konge av sin medsammensvorne, erkebiskopen av Mainz, gjorde folket opprør og tvang Rudolf og erkebiskopen til å forlate Sachsen. Henrik skaffet seg kontroll over Sachsen, og senere også over Schwaben.