Han fikk som barn gjennom faren en sterk interesse for naturvitenskap. Han fikk sterke impulser fra presten Hieronymus Heyerdahl, som var familiens nabo. Heyerdahl ble Sommerfelts lærer i ungdomstiden og livslange venn. Sommerfelt hadde som barn utviklet en god observasjonsevne, og en uvanlig evne til raskt fastslå karakteristika og kjennetegn hos dyr og planter.