席拉赫是一个美国人，她是美国开国元勋和独立宣言签署人阿瑟·米德尔顿的后人。巴尔杜尔·冯·席拉赫成长家庭风气一方面是自由、进步和启蒙主义的，另一方面也是保守和保皇主义的。到他五岁为止他只说英语。比他大七岁的哥哥卡尔1919年在罗斯莱本抗议德皇退位和凡尔赛条约的签署开枪自杀。此外他还有两个姐姐，罗莎琳达和维多利亚。维多利亚早年死于白喉。罗莎琳达称为歌剧演员。巴尔杜尔·冯·席拉赫是按照赫尔曼·利茨的教育理论受的教育。1932年3月31日巴尔杜尔·冯·席拉赫与阿道夫·希特勒的摄影师海因里希·霍夫曼的女儿亨利