Paret fikk to barn, Nigel (1917–2004), som ble en velkjent redaktør, politiker og forfatter, og Benedict (1914–1978), kunsthistoriker og forfatter. På 1930-tallet anskaffet familien seg og flyttet til Sissinghurst Castle, i nærheten av Cranbrook, Kent. Sissinghurst hadde en gang vært eid av Vitas forfedre, noe som ga det en dynastisk tiltrekning for henne etter tapet av Knole. Her opprettet paret sine berømte hageanlegg som i dag blir administrert av National Trust.