Han vokste opp i København som sønn av skomakermester Christen Madsen. Slektsnavnet Hoff tok han i 1887.