Emil vokste opp på morens hjemgård, sammen med morens foreldre og bror. Emil rodde fiske, og deltok i lofotfisket som 17-åring. Ved folketellingen i 1900 bor Emil sammen med faren, 3 søsken, mormoren og morbroren på morens hjemgård.