Brandenburg var født i Hejnsvig sydvest for Billund i landsdelen Sydjylland, men vokste opp på P.D. Løvs Allé på Ydre Nørrebro i København. Han kom etter skolegangen blant annet på Stevnsgades skole i lære som maskinarbeider på den nærliggende fabrikken Vølund. I fritiden spilte han i Ib Glindemanns Big Band. Dessuten ble han i 1953 københavnsmester i boksing.