Svein Døvle Larssen vokste opp på en gård i Stokke. Han var far til blant annet journalist Lars Døvle Larssen i .