Han var sønn av skipsreder Vincent Stoltenberg Lerche (1809–1994) og Jane Matthew Døderlein (1804–1860). Faren giftet seg på nytt etter morens død, og blant hans fem yngre halvsøstre var Norges første kvinnelige teolog, Valborg Lerche.