巴尔杜尔·冯·席拉赫成长家庭风气一方面是自由、进步和启蒙主义的，另一方面也是保守和保皇主义的。到他五岁为止他只说英语。比他大七岁的哥哥卡尔1919年在罗斯莱本抗议德皇退位和凡尔赛条约的签署开枪自杀。此外他还有两个姐姐，罗莎琳达和维多利亚。维多利亚早年死于白喉。罗莎琳达称为歌剧演员。巴尔杜尔·冯·席拉赫是按照赫尔曼·利茨的教育理论受的教育。1932年3月31日巴尔杜尔·冯·席拉赫与阿道夫·希特勒的摄影师海因里希·霍夫曼的女儿亨利埃特·霍夫曼在慕尼黑结婚。从1933年到1942年两人共有四个孩子，其中194