Etternavnet Ferner var opprinnelig farens fornavn, som Johan Martin og hans søsken tok i 1927. Ferner Jacobsen var sønn av los Johan Martin Jacobsen (1850–1907) fra Tjøme, sønn av smed Jacob Andreas Knudsen (1819–1868).