Han var sønn av Johan Mikkelsen Storm (1712–76), prest i Vågå, og dennes annen hustru, Ingeborg Birgitta Røring (1718–60). Se Storm (slekt). De første tolv år av sitt liv tilbragte han i Vågå prestegård, inntil han 1756 begynte på skolen i Christiania. I 1765 tok han examen artium ved Københavns Universitet, men vendte det følgende år tilbake til farens prestegård, antagelig av hensyn til helsen. En tid var han huslærer i Lesja, men med denne unntagelsen tilbragte han årene 1766–1769 i barndomshjemmet. De sterke inntrykkene fra barneårene av norsk dalnatur og dalliv ble i disse årene festnet og utdypet. Som gutt hadde han lekt sammen med bondeguttene i sognet, og som ung mann holdt han seg ikke fornemt tilbake fra bondebefolkningen.