Brauchitsch nedstammet fra den schlesiske adelsslekten med samme navn. Han var det sjette av syv barn av den senere prøyssiske kavalerigeneral og direktør for det prøyssiske militærakademi Bernhard von Brauchitsch (1833–1910) og hans hustru Charlotte Sophie Auguste Bertha, født Gordon (1844–1906). Han var onkel til racerbilsjåføren Manfred von Brauchitsch. Han var svoger til Hans von Haeften, far til Hans Bernd von Haeften og Werner von Haeften, som begge deltok under attentatet mot Hitler i 1944. Hans søster Hedwig var forstander for det protestantiske diakonissemoderhus i Frankenstein. Hans bror var generalmajor Adolf von Brauchitsch (1875–1935).