030年恩斯特二世拒绝为国王之子亨利打击国王的敌人，到此恩斯特二世的爵位始被剥夺。之后不久恩斯特二世在一次与康斯坦茨采邑主教之间的冲突中被杀，恩斯特的弟弟赫尔曼成为新任公爵，为赫尔曼四世。1038年赫尔曼四世意外逝世，康拉德二世封自己儿子亨利为公爵，巴本堡王朝结束。至此之后数十年士瓦本公国再次由多个家族统治。
霍亨斯陶芬王朝.1057年韦尔夫家族的莱茵费尔登的鲁道夫成为新任公爵，但1077年他被选为亨利四世的敌对国王，但他在士瓦本并不能够得到支持，结果鲁道夫遭亨利四世剥夺领地。由于