赫尔曼三世绝嗣而亡，公爵之位传给了奥地利藩侯恩斯特一世与赫尔曼三世姐姐吉泽拉所生的儿子恩斯特，此为士瓦本公国巴本堡王朝的开始。短短三年后恩斯特逝世，恩斯特长子恩斯特二世继承公爵。但由于恩斯特二世尚且年幼，因此吉泽拉接管公国政府，并再次嫁予法兰克尼亚公爵康拉德，日后的罗马帝国皇帝。康拉德因此暂管士瓦本公国。但恩斯特二世与后父康拉德二世的关系并不和睦，恩斯特二世致力将罗马人民的国王势力逐出公国。即使康拉德二世对恩斯特二世十分宽容，但他仍然先后两次发动叛乱反对后父康拉德，结果于1027年恩斯特二世最终被囚禁，