Austad gård ble utlagt i 1697 som skattefri hovedgård for amtmannen i Buskerud, Poul Glud. I perioden gården var i Poul Gluds eie ble det oppført her et herskapelig anlegg som brant i 1807. Poul Glud skjøt og drepte sin kone på gården da han bodde her, noe han påsto var et vådeskudd. Han senere ble frikjent for.