Forholdet til kirken var av helt avgjørende betydning for de første keiserne, men fra 1070-årene ble dette forholdet mer vanskelig da kirken selv ønsket en mer selvstendig kirke i forhold til de verdslige makthaverne. Også paven ble en del av denne endringen, og fra pave Gregor VII ble pavens keiserens største motstander. Konkret dreide striden seg om hvem som skulle utnevne biskoper – paven eller keiseren., og ble kalt Investiturstriden (av , den symbolske høytidelige innsettingen av en person i et kirkelig embete). Den ble utløst da pave Gregor VII insisterte på å gjøre dette selv, mens keiser Henrik IV svarte med å utfordre pavens legitimitet, blant annet ved å omtale paven som siden keiseren ikke hadde vært med på pavevalget, noe som tidligere hadde vært vanlig. Paven svarte med å bannlyse Henrik IV, samtidig som at han ble ydmyket av at de tyske hertugene valgte Rudolf av Schwaben som ny konge i riket. Henrik IV måtte da i første omgang gi seg, gjennom den senere kjente Kanossagangen.