，恩斯特二世致力将罗马人民的国王势力逐出公国。即使康拉德二世对恩斯特二世十分宽容，但他仍然先后两次发动叛乱反对后父康拉德，结果于1027年恩斯特二世最终被囚禁，但仍然保留公爵称号，一年后获释，但实权掌握在母亲吉泽拉手上。1030年恩斯特二世拒绝为国王之子亨利打击国王的敌人，到此恩斯特二世的爵位始被剥夺。之后不久恩斯特二世在一次与康斯坦茨采邑主教之间的冲突中被杀，恩斯特的弟弟赫尔曼成为新任公爵，为赫尔曼四世。1038年赫尔曼四世意外逝世，康拉德二世封自己儿子亨利为公爵，巴本堡王朝结束。至此之后数十年士瓦本公国