Gården er en av Norges eldste stormannsgårder. På 1000-tallet bodde lendmann Finn Arnesson her. Han var besvogret med kongene Olav den hellige og Harald Hardråde. Finn ble uvenn med kong Harald i forbindelse med broren Kalvs skjebne. I tiden etter Finn ble ikke Austrått nevnt i historiske kilder på 80 år. Trolig var gården i denne tiden krongods. Fra 1130 var Kåre Kongsbror herre på Austrått. Han ble etterfulgt av sin sønn Sigurd Kåresson og sønnesønn Jon Sigurdsson. Det var trolig Jon som bygde kapellet. Jons datter Baugeid eide deretter Austrått. Hun var gift med Åsulv Eiriksson, som var Hertug Skules banemann.