Brauchitsch stammet fra den schlesiske adelsslekten von Brauchitsch. Han var det sjette av syv barn av den prøyssiske senere kavalerigeneralen og direktøren for det prøyssiske militærakademi Bernhard von Brauchitsch (1833–1910) og hans hustru Charlotte Sophie Auguste Bertha, født von Gordon (1844–1906). Han var onkel til racerbilsjåføren Manfred von Brauchitsch og som svoger til Hans von Haeften også onkel til motstandskjemperne Hans Bernd von Haeften og Werner von Haeften. Hans søster Hedwig var forstanderinne for det protestantiske diakonissenmolderhus i Frankenstein. Hans i 1935 avdøde eldre bror var generalmajor Adolf von Brauchitsch.