Abraham Dreyer (1671–1736) var lagmann i Trondheim, berghauptmann og betydelig investor. Han kjøpte Austrått i 1721, etter at godset i tyve år hadde blitt drevet av fogden i Fosen på kreditorenes vegne. Dreyer bodde hovedsakelig i Trondheim, men bekostet en oppussing av Austrått. Han solgte i 1736 videre til sorenskriver og kanselliråd Søren Dass, som bosatte seg på herregården. Dass er bisatt i gravkapellet. Hans enke solgte i 1760 til kommerseråd Hans Holtermann (1709–1781), noe som innledet 103 års eierskap fra Holtermannslekten. Hans Holtermann solgte fra eiendommer i Stjørna, og står trolig bak dagens mansardtak på borgen, til erstatning for et saltak. Han overdro gården til sønnen Eiler Hagerup Holtermann (1748–1800). Både i Eilers og i sønnen Ove Bjelke Holtermanns (1782–1857) eiertid ble flere leilendingsbruk solgt fra godset.