Agnes dari Poitou

Uskup Henry tidak menerima penerimaan luas karena berperilaku canggung dan angkuh, juga karena terdapatnya rumor mengenai hubungannya dengan Ratu seperti yang dinyatakan oleh penulis sejarah Lambert dari Hersfeld. Selain itu, fakta bahwa ahli waris takhta dibesarkan oleh "ministeriales" umum menyebabkan kemarahan para pangeran. Pada tahun 1062, Heinrich IV muda diculik oleh sekelompok orang, termasuk Uskup agung Anno II dari Köln dan Otto dari Nordheim, di dalam konspirasi untuk menggeser Agnes dari takhta, yang disebut sebagai Kudeta Kaiserswerth. Heinrich dibawa ke Köln, dan meskipun melompat ke laut dari sebuah kapal untuk melarikan diri, ia tertangkap lagi. Agnes mengundurkan diri, sebagai tebusan dari takhta itu, dan Anno bersama dengan uskup agung Siegfried dari Mainz dan Adalbert dari Bremen mengambil alih tempat tersebut. Menurut Frutolf dari Michelsberg ia pensiun ke Biara Fruttuaria setelah turun takhta, dan ketika Heinrich IV mencapai usia dewasa, ia pindah ke Roma, di mana ketika kedatangannya pada tahun 1065 didokumentasikan oleh Petrus Damianus. Agnes melanjutkan bertindak sebagai penengah dan pendamai di antara putranya dan kepausan. Agnes meninggal di Roma pada tanggal 14 Desember 1077 dan dimakamkan di Basilika St. Petrus.