Han var sønn av lærer og klokker i Stiklestad kirke Jørgen Christian Aagaard og hustru Anne Iversdatter Østgaard. Han hadde seks søsken, hvorav fem vokste opp. Familien bodde først på Verdalsøra, men kjøpte gården Søndre Holmsveet på Stiklestad i 1838.