A lo largo del principio y mediados del siglo XVIII, William, 5º Lord Digby, y sus herederos, Edward, 6º Lord Digby —quien heredó el título en 1752—, y Henry, 7º Lord, trazaron los jardines actuales, incluyendo un lago en 1753 diseñado por Lancelot Brown que separa ambas construcciones.