Brandt var sønn av offiseren og politikeren Kristian K. Hagemann Brandt, og bror til generalmajor Fredrik Oscar Brandt.