Han ga navn til Brandts gate (Oslo) som går langs en løkke han eide. Brandt var sønn av Johan Rasmus Brandt (1789–1858) og Marie Elisabet Hagemann (1803–82). Faren var fut og fogd i Rakkestad.