Han var sønn av fiskerbonden og leilendingen Johannes Lydersen og hustru Maren Malene Heinesdatter. Han hadde flere søsken. Som guttunge mistet han faren, som forulykket til sjøs.