Under regentskapet til Agnes kunne riksfyrstene i riket styrke sin posisjon i forhold til den relativt svake keisermakten. I 1062 kunne en gruppe adelige under ledelse av erkebiskop Anno II av Köln gjennomføre en kidnapping av den unge keiseren (Kaiserswerth-kuppet). Henrik ble senere satt fri, men hans mor Agnes måtte gi fra seg regentmakten til kuppmakerne.