Han var sønn av toller Peder Abildgaard i Flekkefjord og Anne Sørensdatter, gikk på skole i Kristiansand og ble student i 1737. Noen eksamen tok han imidlertid ikke, men på grunn av et tidlig utviklet tegnetalent kunne han finne et nøysomt utkomme, og alt 1739 ble han gift med Anne Margrethe Bastholm. I 1751 malte han et portrett av Langebek, og i 1753 og 1754 fulgte han denne som ledsager på reise i Sverige og i Østersjøprovinsene, for å ta faksimiler av håndskrifter og tegne de segl og dokumenter som kunne ha interesse for Danmarks historie.