Slektsnavnet tok han i datidens navneform etter stedet Hørsholm (Hirschholm/Hirtzholm), nord for København, der han kom fra og hvor faren, Niels Olufsen, var fiskemester.