I 1062 ble den unge keiser Henrik IV bortført i en sammensvergelse ledet av erkebiskop Anno II av Köln og Otto av Nordheim, kjent som Kaiserswerth-kuppet. Kuppet hadde som formål å fjerne Agnes fra tronen, og da Agnes aksepterte å tre tilbake ble Henrik løslatt mens Anno II sammen med erkebiskopene i Mainz og Bremen overtok plassen som regenter.