仍然先后两次发动叛乱反对后父康拉德，结果于1027年恩斯特二世最终被囚禁，但仍然保留公爵称号，一年后获释，但实权掌握在母亲吉泽拉手上。1030年恩斯特二世拒绝为国王之子亨利打击国王的敌人，到此恩斯特二世的爵位始被剥夺。之后不久恩斯特二世在一次与康斯坦茨采邑主教之间的冲突中被杀，恩斯特的弟弟赫尔曼成为新任公爵，为赫尔曼四世。1038年赫尔曼四世意外逝世，康拉德二世封自己儿子亨利为公爵，巴本堡王朝结束。至此之后数十年士瓦本公国再次由多个家族统治。
霍亨斯陶芬王朝.1057年韦尔夫家族的