Egentlig het han Olsen til etternavn. Han var sønn av John Olsen (1808–46) og Sara Elisabeth Lund (1810–48). Men foreldrene døde svært tidlig, så han vokste opp i Skien hos sin onkel Carl Chr. Holm som var skipsreder, og da ble det til at han kalte seg Holm.