茨采邑主教之间的冲突中被杀，恩斯特的弟弟赫尔曼成为新任公爵，为赫尔曼四世。1038年赫尔曼四世意外逝世，康拉德二世封自己儿子亨利为公爵，巴本堡王朝结束。至此之后数十年士瓦本公国再次由多个家族统治。
霍亨斯陶芬王朝.1057年韦尔夫家族的莱茵费尔登的鲁道夫成为新任公爵，但1077年他被选为亨利四世的敌对国王，但他在士瓦本并不能够得到支持，结果鲁道夫遭亨利四世剥夺领地。由于腓特烈一世·冯·斯陶芬坚定追随亨利四世对抗鲁道夫，因此亨利四世结果封予他公爵之位，成为公爵腓特烈一世。这开启了霍亨