于一个知名的索布德意志贵族家庭。卡尔·冯·席拉赫从1909年到1918年任魏玛国立剧院院长，巴尔杜尔·冯·席拉赫因此在魏玛长大。从1935年到1943年卡尔·冯·席拉赫任威斯巴登国立剧院院长。巴尔杜尔的母亲艾玛·米德尔顿·冯·席拉赫是一个美国人，她是美国开国元勋和独立宣言签署人阿瑟·米德尔顿的后人。巴尔杜尔·冯·席拉赫成长家庭风气一方面是自由、进步和启蒙主义的，另一方面也是保守和保皇主义的。到他五岁为止他只说英语。比他大七岁的哥哥卡尔1919年在罗斯莱本抗议德皇退位和凡尔赛条约的签署开枪自杀。此外他还有