Bracks Vater war ein Arzt aus Göttingen, seine Mutter eine katholische Wolgadeutsche aus Saratow. Nach dem Besuch der Realschule in Bad Dürkheim und einer Oberrealschule in Ludwigshafen zog die Familie 1921 nach München, wo Brack 1923 die Reifeprüfung an der Luitpold-Oberrealschule ablegte. Schon 1922 hatte er sich als Zeitfreiwilliger der Reichswehr angeschlossen und gehörte dabei zu einer Ausbildungseinheit unter Eduard Dietl. Nach eigenen Angaben war er während des Hitler-Putsches als Freikorpsangehöriger beim Marsch auf die Feldherrnhalle eingesetzt.