Brouncker giftet seg aldri, men var i mange år samboer med skuespillerinnen Abigail Williams (til stor avsky for Pepys) de fikk to barn sammen og hun arvet det meste av eiendommene hans. Brannen i 1673 som ødela Royal Navy Office startet i Abigails private skap, dette har sannsynligvis ikke forbedret hennes forhold til Samuel Pepys, hvis private leiligheter også ble ødelagt i brannen. Da Brouncker døde i 1684, ble tittelen hans overført til broren Henry, som William hadde et dårlig forhold til.