Walther von Brauchitsch entstammte dem alten schlesischen Adelsgeschlecht von Brauchitsch. Er war das sechste von sieben Kindern des späteren preußischen Generals der Kavallerie und Direktors der Preußischen Kriegsakademie Bernhard von Brauchitsch (1833–1910) und dessen Ehefrau Charlotte Sophie Auguste Bertha, geborene von Gordon (1844–1906). Er war ein Onkel 3. Grades des Rennfahrers Manfred von Brauchitsch und als Schwager von Hans von Haeften auch ein Onkel der Widerstandskämpfer Hans Bernd von Haeften und Werner von Haeften. Seine Schwester Hedwig war eine Oberin des evangelischen Diakonissenmutterhauses in Frankenstein. Sein 1935 verstorbener älterer Bruder war Generalmajor Adolf von Brauchitsch.