1055年去世时，韦尔夫继承他的遗产。韦尔夫于1062年迎娶巴伐利亚公爵诺特海姆的奥托之女 。尽管埃斯特家族的父亲亚厘毕·雅佐二世继续为教皇格雷戈里七世坚定的支持，但韦尔夫的婚姻以及他在德意志的财产继承，意味着他更加关注德意志的事务，并支持神圣罗马皇帝亨利四世。当其外巴伐利亚公爵父奥托成为皇帝亨利四世的敌人后，其巴伐利亚公国被皇帝没收，韦尔夫仍是坚定地效忠亨利四世。为了遵守亨利四世的命令，他背叛其妻子埃瑟琳德并与她离婚 。此后不久，因其忠诚而受到嘉奖，他于1070年被任命为巴伐利亚公爵以取代其外父奥托。