Ifølge hans egen sleksthistoriske bok fra 1890 var han sønn av gårdbruker Thorvald Heyerdahl (1801–1881) på Nordre Haneborg i Aurskog og hustru Anne Sofie Andersdatter Haneborg, dattera til bygdas stortingsrepresentant Anders Halvorsen Haneborg (1767–1847). Anders var storebror til ingeniør Halvor Emil Heyerdahl (1840–1917). Han ble gift i 1862 med søskenbarnet Emilie Nicoline Frantzdatter.Blant deres barn var sangerinnen Halfrid. Forøvrig er Halfrid bestemora til jazzsanger Karin Krog (1937). Og han er også grandonkel til arkeologen Thor Heyerdahl (1914–2001).