Han ble født på Skjevikenget i Beitstad som sønn av farger og gårdbruker Stål Pedersen Kjeldseth og hustru Marit Jakobsdatter fra Utvik-Fætten. Han begynte å holde omgangsskole som 17-åring i 1821. Han krevde inn den såkalte skoletollen på korn på vegne av alle omgangsskolelærerne i bygden, i tillegg til å vaksinere skolebarn mot kopper. I 1831 tok læreren på bygdens fastskole avskjed, og Jacob ble beskikket som lærer av prost F.A. Widerøe, etter anbefaling fra sognepresten.