Født i Hamburg, Tyskland, Brandt hadde en britisk far og en tysk mor. Han vokste opp under den første verdenskrig og kom senere i livet, med nazismens fremvekst, til å fornekte sitt tyske opphav og påsto at han var født i Sør-London.