Su madre, Sarah Gould Fielding, también era miembro de una distinguida familia de Somerset: el padre de esta, sir Henry Gould (1643–1710), era un juez del Tribunal Supremo de Inglaterra, y alcanzó gran renombre en su tiempo; su madre, lady Sarah Gould, era hija de un acaudalado comerciante londinense, Richard Davidge, que le había legado una cuantiosa fortuna y numerosas propiedades en Dorset y Somerset, entre ellas el propio Sarpham Park.