La famille Stourton possédait le domaine depuis avant la conquête normande. Le bâtiment primitif, un manoir médiéval, fut construit par Robert de la Stourton. Attaqué par les Têtes-Rondes en , il fut gravement endommagé. La famille Stourton ayant connu ensuite des temps difficiles, il était lourdement hypothéqué au début du quand Sir Thomas Meres en prit le contrôle, en 1714. La propriété où les Stourton avaient vécu sans interruption pendant 700 ans fut vendue en 1717 par John Meres à Henry Hoare I (1677–1725), fils du riche banquier Richard Hoare, créateur en 1672 de la banque . Le manoir médiéval fut démoli, à l'instigation de , son beau-frère architecte, remplacé par une demeure de style palladien, conçue par Colen Campbell (Ses plans figurent dans le volume III de son "Vitruvius Britannicus") et construite par entre 1719 et 1722. Stourton est, avec Baldersby Park, le prototype des "country houses" palladiennes anglaises.