I Worms den 24. januar 1076 erklærte en synode sammensatt av Henrik at paven var avsatt. Paven svarte den 22. februar 1076 med å ekskommunisere Henrik. I oktober forsøkte man, under et møte i Tribur, å finne en løsning ved å gi keiseren en ett års frist til å omvende seg før ratifikasjonen av bannlysningen skulle tre i kraft. I desember dro han mot Italia. Han tilbragte julen i Besançon før han sammen sin kone og sitt barn krysset Alpene og dro til slottet Canossa hvor paven befant seg. Canossa var eid av den mektige Matilde av Toscana som var en av pavens viktigste allierte. Fra 25. til 27. januar 1077 sto keiser Henrik III sammen sin familie, angivelig uten sko, uten mat og uten ly – bare iført en taglskjorte, utenfor slottet til paven og ba om opphevelse av bannlysningen. Dette har gitt opphav til begrepet kanossagang. Paven hevet ekskommunikasjonen etter dette.