选出一位新的国王。他必须在迅速到来的最后期限之前，能够保住教会成员的身份。亨利由翻越阿尔卑斯山后，立刻实践忏悔的苦行，穿起当时修士苦行时所穿的粗糙衣服，据说是赤足行走。他的许多随从也脱掉了鞋子。他在这种情况下，在一月下旬的漫长而艰苦的旅程中，越过阿尔卑斯山。他在1077年1月25日到达卡诺莎的大门。
在城堡.当亨利到达卡诺莎，教宗下令，拒绝让他进入。据现场的第一手资料（额我略和亨利接下来几年的书信），亨利在门外等候了整整三天。在此期间，据说他只穿着修士所穿的苦衣，并且禁食。虽然