Harildstad ble født på gården Søre Harildstad i Heidal i Oppland. Han var sønn av Tord Harildstad. I ungdommen var han omgangsskolelærer i fire år. Siden ble han underoffiser og deltok i 1788 i felttoget mot Sverige. Fra 1794 var han gårdbruker på gården Aamodt på Sjoa i Oppland. Her ble han en foregangsmann i hagebruk.