治上孤立无援，只好强迫自己于1077年进行着名的卡诺莎之行，并以背负耻辱的代价使自己恢复教籍。在恢复教借后，亨利成功击败对立国王，更一度将额我略逼上绝路，但最后又遭遇更多的起义、再度被开除教籍，甚至是他自己儿子发动的叛乱等劫难。1122年，他的次子亨利五世成功与教宗和主教们达成《沃尔姆斯宗教协定》。帝国的政治权力被保留，但这次冲突显示所有统治者的权力都有限制，尤其是有关教会的，并取消国王此前享有的圣人身份。教宗和诸侯们自此在帝国的政治体系中占据了同等重要的位置。值得注意的是，这段期间，“罗马人的国王