分居直至和离。1824年，母亲被法庭流放，随后嫁给情夫珀尔齐希-拜尔斯道夫的亚历山大·冯·汉施泰因伯爵。根据法庭决议，她终身不能再与孩子相见。最终，阿尔伯特的母亲于1831年因癌症去世，时年30岁。次年，恩斯特一世与自己的侄女，同时也是儿子们的表姐，符腾堡公国的安托瓦内特·玛丽郡主成婚。但两人的婚姻并没有使得家庭变得亲密，安托瓦内特婚后很少照顾自己继子们的生活。阿尔伯特及兄弟们少时由家庭教师克里斯多夫·弗洛尔舒茨负责教育。青少年时代，他们在布鲁塞尔生活，并由阿道夫·凯特勒担任导师指导学习。等到长大成人，