I denne situasjonen valgte Henrik en taktikk som satte Gregor midlertidig ut av spill. Han reiste til Canossa i Nord-Italia og bad om syndsforlatelse, og det kunne ikke paven nekte en angrende synder. I 1080 marsjerte Henrik mot Roma, tok byen og satte inn en motpave, som straks kronet ham til keiser.