Henrik innledet nå sin tredje ekspedisjon mot Italia. Etter noe suksess i starten led han nederlag mot lombardierne i 1092. Han fikk ytterligere motstand da den stadig like energiske og mektige Matilda av Canossa klarte å mobilisere Henriks eldste sønn Konrad til motstand mot faren. Konrad ble kronet til «konge av Italia» i Monza i 1093. Henrik ble med dette avskåret fra å returnere til Tyskland før i 1098. I Tyskland hadde han fortsatt makten. Matilda hadde i hemmelighet overført sine eiendommer til kirken før hun giftet seg med Welf av Bayern. Welf ble rasende da dette kom for en dag i 1095, og han og hans far, hertug Welf I, gikk umiddelbart over til å støtte Henrik IV. For Welf II’s vedkommende var dette kanskje også motivert av et løfte om å etterfølge faren som hertug av Bayern. Henrik på sin side reagerte med å tilsidesette sin sønn Konrad i arverekkefølgen og utpeke den yngre broren Henrik som sin etterfølger. Den unge Henrik måtte sverge ed på at han ikke skulle følge sin brors eksempel.