承人贝特霍尔德接任，然而，在亨利死于1056年后，他的遗孀艾格尼丝却任命莱茵法登的鲁道夫为新的士瓦本公爵。 贝特霍尔德放弃了他的继承权利，作为补偿，他得到了克恩腾公国和意大利地区的维罗纳边境领地。1077年，由于主教叙任权斗争，贝特霍尔德被罗马人的国王亨利四世剥夺了以上两个领地。其后，他回到了士瓦本的故乡，并在一年后去世。不过，维罗纳的领地仍然由他的长子赫尔曼一世继承。赫尔曼一世的儿子赫尔曼二世，与世仇霍亨斯陶芬家族缔结了一项协议。1098年，皇帝亨利四世应承给予他封地。就像他的父亲一样，赫尔曼二世坚持