Na zijn dood werd William Byrd II op de Westover Plantation begraven. Zijn zoon, William Byrd III, koos ervoor mee te vechten in de Franse en Indiaanse Oorlog en verkwistte het vermogen van zijn vader, waarna hij in 1768 een deel van het familielandgoed verkocht.