Dessverre for pave Gregor var ikke Hermann en like sterk leder som Rudolf hadde vært, og dette førte til at Henrik kunne styrke sin posisjon. Henrik lot seg krone til keiser av «motpave» Clement III i 1084, og Hermann kom i en vanskelig situasjon. Han hadde bred støtte hos den saksiske adelen, men hans plan om å samle en større hær ved Donau og marsjere over Alpene falt i grus da hans viktige støttespiller grev Otto av Nordheim døde. Det ble i stedet Henrik IV som gikk mot Sachsen med en stor hær i 1085, og da flyktet Hermann til Danmark.