Hermans far var skomaker på Akershus festning, men døde 39 år gammel under koleraepidemien i Christiania i 1833. Moren satt igjen med de to barna Herman og Martina. De bodde i en liten kvistleilighet i Lakkegata. Herman, som da var 13 år, måtte bidra til familiens underhold. Han forsøkte seg først som visergutt, ettersom han var rask til bens og intelligent, men fant snart en mer lønnsom geskjeft i å kjøpe og videreselge appelsiner, som den gang var en sjelden frukt. Appelsinene gikk han rundt på kontorer i sentrum for å selge. Noen år senere startet han en forretning der han leide ut kostymer til maskeradeball og lignende. Om sommeren dro han rundt til byene langs Oslofjorden og tjente penger på hurtigløp. Han ble kjent med en gipsmaker ved navn Guidotti som holdt til på Hammersborg. Gipsmakeren var på utkikk etter levende modeller, og Herman etablerte seg som oppkjøper av «levende, vilde dyr» som Guidotti kunne portrettere i gips. Blant dyrene han skaffet var en bjørn, en rev og en apekatt. Dette førte til at han startet å reise rundt og vise frem et rikholdig menasjeri. Med seg hadde han også gjøglere og akrobater som utførte ulike kunststykker; selv underholdt han fremdeles med hurtigløp på disse reisene. I 1843 var han i Tromsø, og kort tid etter gjorde han lykke i Arkhangelsk.